大模型知识

第一步，在python中导入我们需要使用用到的库 其中math库是python中包含数学运算的库，而torch是python中深度学习框架 今天的目标是将我们输入的序列转化为位置编码 知识点： 知识点

解码器的解码流程 1.输出嵌入的右向偏移 再开始处理输入序列之前，模型对输出嵌入进行一个向右偏移的一个位置，确保在训练阶段，解码器内的每个符号都能正确的获取之前生成符号的上下文 2.位置编码的整合 按

输入阶段（家人们，大学生做笔记不易，点个免费的赞赞吧） 1.初始输入 由图可知整个Encoder部分由6个相同的模块按顺序构成，第一个子模块用于接收来自嵌入和位置编码组合后的输入。通常是将输入的原始数

位置编码 位置编码(Position Embedding)是Transformer模型中用来引入序列中词语位置信息的一种机制，对每个词的嵌入向量进行加和，以保持模型对序列顺序的敏感性。具体来说，词嵌入

迁移学习是什么？ 预训练是一种从头开始训练模型的方式：所有的模型权重都被随机初始化，这个过程不仅需要海量的训练数据，时间和经济成本都较高 因此，我们需要将别人训练好的模型权重经过迁移学习应用到自己的模

Attention机制 1.第一个attention模型（基于Encoder编码-Decoder解码）的RNN/LSTM的， 编码器 LSTM 用于处理整个输入句子并将其编码为上下文向量 解码器 LS

seq2seq 知识点一: Seq2Seq模型，全称Sequence to Sequence模型，输入一个序列，输出另一个序列。 知识点二：输入和输出的长度可以不同 知识点三：使用 BOS 和 EOS

人工智能的历史 第一阶段--符号智能 第二阶段--专用智能 第三阶段--通用智能 大模型的特点与能力： 大模型的主要问题：