1、模型 f(x)=wx+b,函数就是模型
2、其实就是通过数据找出一个函数规律，然后解决这一类的问题
3、，预训练是一种从头开始训练模型的方式：所有的模型权重都被随机初始化，然后在没有任何先验知识的情况下开始训练：
这个过程不仅需要海量的训练数据，而且时间和经济成本都非常高。
因此，大部分情况下，我们都不会从头训练模型，而是将别人预训练好的模型权重通过迁移学习应用到自己的模型中，即使用自己的任务语料对模型进行“二次训练”，通过微调参数使模型适用于新任务。
4、transformer 输入句子，分词，分解为n维向量
NLP 神经网络模型的本质就是对输入文本进行编码，常规的做法是首先对句子进行分词，然后将每个词语 (token) 都转化为对应的词向量 (token embeddings)，这样文本就转换为一个由词语向量组成的矩阵 X=(x1,x2,…,xn)，其中 xi 就表示第 i 个词语的词向量，维度为 d，故 X∈Rn×d。
5、召回 - 是评估指标：衡量模型找出正样本的能力
6、GPT基本可以认为就是Transformer的解码器部分。
