格格党

手机浏览器扫描二维码访问

第16章 这些不是很简单吗（第1页）

林枫当然知道，自己正在改变世界。

甚至於一开始林枫也有点激动。

不过很快林枫也就恢復平常心了。

因为较真地讲，从林枫重生的第一天开始，林枫就已经在改变著世界了。

因为林枫的到来，这个世界正在一点点地变成林枫的形状。

因此对於马库斯的恭维，林枫只是笑了笑。

“对了，你们还可以关注一下另一件事。”

林枫突然说道，“关於网络中的『注意力机制』你们也可以注意一下，它在未来会在很多领域展现出惊人的威力，尤其是在自然语言处理（nlp）方面。

这种机制能让网络更聪明地选择重点关注哪些输入信息，而不是一视同仁地对所有输入进行处理。”

“注意力机制？”

马库斯更迷茫了，自然语言处理虽然在2014年也是热门研究方向，但“注意力”

这个词在他的印象里一片空白，显然这个还没被用到深度学习领域。

马库斯显然意识到，今天这场对话比他预想的更具启发性。

林枫不经意间的一些观点，很有可能给深度学习领域带来革命性突破。

马库斯此刻觉得他仿佛正在见证一些顛覆性理念的诞生。

他不禁有些激动，忍不住追问道：“林，你刚刚提到的『注意力机制』……你能多说点吗？你知道，现在的神经网络普遍都是在处理图像、视频数据等结构化信息，但语言这类非结构化数据一直是个棘手的领域。

你提到的这个『注意力』机制，真的能大幅提升自然语言处理的能力？”

林枫笑了笑，心里明白马库斯现在的困惑。

2014年这个时间点上，自然语言处理领域確实还没有完全进入“注意力机制”

主导的时代，许多人依旧在用传统的rnn和lstm（长短期记忆网络）来处理时间序列数据，语言模型的效果虽有进步，但远未达到后来transformer带来的质变。

林枫深吸一口气，试图在不暴露太多未来科技的前提下，用马库斯能理解的方式解释：“你可以把『注意力机制』想像成一种更聪明的权重分配系统。

当你阅读一篇文章的时候，人的大脑並不会对每个单词都投入相同的注意力，某些词或句子对理解整个文章的意义更为关键。

『注意力机制』的核心思想就是类似的，它让网络学会『关注』输入信息中的重要部分，而不是每个部分都平等对待。”

马库斯眉头微蹙，似懂非懂。

林枫也没有催促，姑且留待马库斯思考。

过了一会，马库斯若有所得，但依然还是有困惑，马库斯问道：“这跟我们现在使用的网络结构有什么本质区別呢？毕竟网络权重也是在调整不同的输入节点，按理说它也能『选择性地关注』重要的信息。”

林枫点了点头，继续解释道：“是的，当前的网络权重確实会根据数据自动调整，但问题在於它们的调整方式太过机械。

网络层层堆叠后，很容易出现『信息稀释』的现象，尤其是在处理长序列数据时，早期输入的信息可能会在网络的深层逐渐被削弱，甚至丟失。

而『注意力机制』则不同，它会在每一步都重新评估所有输入的影响力，並动態调整每个输入的权重，保证关键的信息不会因为层数的增加而被遗忘。”