1️⃣ Transformer介绍
Transformer是一种神经网络，它在理解顺序数据的上下文和生成新的数据上表现出色。与传统的循环神经网络（RNN）和卷积神经网络（CNN）不同，Transformer完全依赖于自注意力机制（self-attention）。
新术语：
- 神经网络：一种模拟人脑结构和功能的计算模型，用于机器学习和人工智能任务。
- 自注意力机制（Self-Attention） ：一种技术，可以根据输入数据的不同部分的重要性分配不同的权重，从而更好地捕捉数据中的关键信息。
2️⃣ Transformer作为黑箱
把Transformer想象成一个用于语言翻译的黑箱。 🎩
- 输入：一种语言的句子。
- 输出：其翻译。
在这个黑箱内部发生了什么呢？让我们来了解一下！ 🔍
3️⃣ 编码器/解码器结构
想象一下，我们有一个西班牙语句子“¿De quién es?”：
- 编码器：将其转换成一种捕捉其本质的结构化格式。
- 解码器：接收这个编码后的数据并生成翻译。
- 输出：翻译后的句子：“Whose is it?”
新术语：
- 编码器（Encoder） ：神经网络的一部分，用于处理输入数据并将其转换成内部表示。
- 解码器（Decoder） ：神经网络的一部分，用于将编码后的数据转换成输出，比如翻译后的句子。
4️⃣ Transformer的架构
每个编码器和解码器由多个层组成。它们的工作原理如下：
- 编码器：逐层处理输入数据。
- 解码器：逐步生成输出，使用编码后的数据。
两者都使用自注意力机制和前馈神经网络，从而使得自然语言生成成为可能。
新术语：
- 前馈神经网络（Feed-forward Neural Network） ：一种神经网络，每个层的输出仅连接到下一层，不形成循环。
总结
Transformer是一种创新的神经网络模型，完全依赖于自注意力机制，极大地提升了自然语言处理和计算机视觉任务的效率和效果。它的编码器/解码器结构使其能够高效地翻译和生成自然语言。
明天我们将详细拆解Transformer架构的编码器和解码器两大核心元素。
