获得徽章 0
- 在神经网络和深度学习的早期，模型通常会对整个输入进行均匀处理，而不分辨哪些部分更为重要或次要。这种方法在处理简单的任务时效果尚可，但在应对复杂任务（如自然语言处理、机器翻译和图像识别）时便显得力不从心。
Attention-based 模型的引入正是为了解决这一问题，它们通过自动聚焦在输入的关键部分，从而提高了处理复杂任务的效率和效果。
#### Attention 机制的工作原理
Attention 机制主要通过以下几个步骤实现对输入特征的筛选与聚焦：
1. **计算注意力权重（Attention Weights）**：
- 模型首先计算每个输入元素的注意力得分（attention score），这些得分反映了该元素对当前任务的重要性。
- 使用不同的评分函数（如点积、加法等）来计算这些得分。
2. **应用软注意力（Soft Attention）**：
- 计算得分后，通过 softmax 函数将这些得分规范化为权重，使其总和为 1。
- 这种方法确保了所有输入特征都有一定的参与度，但关键特征会被赋予更高的权重。
3. **加权求和**：
- 将输入元素乘以它们对应的注意力权重，并求和得到一个聚焦后的表示（context vector），用于后续处理。
- 这种加权求和的方式有效突出关键特征，同时不完全忽略次要特征。
#### Attention-Based 模型的优势
1. **关键特征突出**：
- 能自动识别并聚焦在输入中的重要部分，忽略次要信息，这对自然语言处理等需要处理大量非结构化数据的任务尤其重要。
2. **模型可解释性增强**：
- Attention 机制赋予了模型一定的可解释性，使我们能够理解模型在做决策时依赖的特征。这对模型调试和可信度的提升都有帮助。
3. **提高训练效率和准确度**：
- 聚焦在有用特征上，使得训练过程更有效，减少了训练时间，并且在特征选取上更加智能化，从而提升了预测的准确性。展开
12 - 昨天早上老板找我对需求：对话如下
老板：你最近怎么那么早下班啊？昨天6点多就找不到你.
我：有事情，下班就回去了.
老板：项目月底要给客户演示啊，你加加班，抓紧搞出来.
我：老板1月份的工资什么时候发完啊？
沉默ing...
老板：最近客户一直拖着货款没有打款过来，会给你安排的，你抓紧把东西搞出来。
我：这样搞干活没劲啊，工资也不发。
沉默ing...
我：下个星期我要休陪产假了，还有3月份的工资什么时候发？
老板：那你赶紧把东西搞出来，我月底要用.
我：老板那工资什么时候发啊？
沉默ing..
老板：公司会想办法解决的，你不要担心。
我：那什么时候会发？
沉默ing...
老板：我给你发，你别担心。
我：老板那这就没有意思了，来公司3个月了一直拖工资.
老板：这样，你先去搞开发，这个星期会把1月份的发完。
我：那3月份的呢？今天都15号了
老板：3月份的月底会给你发。项目你赶紧搞出来，我月底要用...
行政：展开
30480 - 校霸殴打我。我没服。
父母辱骂我。我没服。
老师针对我。我没服。
上司压榨我。我没服。
生活抛弃我。我没服。
社会侮辱我。我没服。
金钱唾弃我。我没服。
今天才周三。我服了。展开178
![[看]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_97.39cdc9f.png)
, 老jym 看过的举手, 
juejin.cn
![[灵光一现]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_25.51e6984.png)
