格格党

手机浏览器扫描二维码访问

第15章 林你知道吗你正在改变世界（第2页）

“你说的这些……感觉像是网络中有个反馈机制，確保梯度和信息都能回流，维持学习的稳定性。”

马库斯眼中闪过一丝兴奋，他直觉林枫正在讲述的东西，可能会是未来突破深层神经网络训练的关键。

林枫笑了笑，点了点头。

正是“反馈机制”

的概念让残差网络得以解决深度神经网络中的许多瓶颈。

林枫继续说道：“这套结构让信號能够通过短路或捷径返回到较浅的层，减少信息丟失，同时保持梯度的大小，確保网络不会在深度增加时失去学习能力。

其实你们可以试著在更复杂的网络中引入这种结构，我相信会看到意想不到的效果。”

马库斯默默点头，仿佛意识到了一条前所未有的道路。

“不过你说的这些，”

马库斯沉吟片刻，“听起来非常前卫。

我们现在的技术，尤其是硬体算力的限制，可能还不足以支撑如此复杂的网络结构和跳跃式的连接方式。”

“的確，”

林枫对此並不感到意外，“当前的硬体环境还有限制，特別是gpu算力不足，限制了深度学习网络的规模。

不过这些並不是问题，软体技术的发展会推动硬体的进步。

隨著並行计算技术的进步，未来会有专门为ai设计的硬体，比如tpu（张量处理单元），它们可以显著提升训练效率。”

为了避免泄露过多，林枫只提到了张量处理器。

其实未来的变化远不仅於此。

在未来，还会有更多高效的优化算法，像adam优化器会成为主流……

儘管林枫只是透露一点半点，以对未来猜测的形式说出来。

但这已经足够让马库斯无比震惊了。

“tpu？”

马库斯皱眉，他从没听说过这个名词，“这是新的硬体架构？”

林枫轻描淡写地补充道：“只是一种假设性的计算架构，未来可能会出现，专门针对深度学习任务，你不觉得针对人工智慧深度学习有开发一种专门硬体的必要吗？”

马库斯若有所思地点头，脑海中突然涌现出无数思考的路径。

不得不承认，林说得確实有道理，而且从种种跡象来看，像是google確实是在致力於开发一种专门用於人工智慧的硬体，至於是不是叫做张量处理器，马库斯就无从得知了。

不过马库斯已经是受益匪浅了，虽然林枫描述的这种依託跳跃式连接对於普通的电脑来说肯定是做不到的，硬体跟不上。

但对於实验室环境下实现硬体支持还真不是什么难事，一些美国高校能调动的资源超乎你想像。

马库斯决定回去就实验一番。

林枫看著马库斯那若有所思的郑重神情，心里忍不住暗笑。

他清楚自己隨口透露的这点信息，足以让这个时代的研究人员在未来几年迎来爆发式的进步。

不过，对於林枫来说，这不过是习以为常的知识而已。

但马库斯却无比正式地说道：“林！

你知道吗？你正在改变世界！”