LLMs 人工智能大语言模型 自学笔记

在NPLM之前，传统语言模型主要依赖最基本的N-Gram技术，通过统计词汇的共现概率计算词汇组合的概率。然而，这种方法在处理稀疏数据和长距离依赖遇到瓶颈。 NPLM通过利用前N-1个词来预测第N个词。

Transformer 组件包含：多头自注意力，逐位置前馈网络，正弦位置编码表，填充掩码，编码器层，编码器，后续掩码，解码器层，解码器，Transformer类

Skip-Gram 模型是由中心词，来预测周围上下文。 而 CBOW 模型则是由上下文来预测中心词。

词向量 ≈ 词嵌入 词向量 和 词嵌入 都是指，将单词转换成稠密向量，然后再使用余弦相似度计算单词相似度。Skip-Gram模型，CBOW模型实践。

词袋模型忽略词与词之间的顺序关系。 将文本中的词看作一个个独立的个体，只关心每个词出现的频次。利用余弦相似度来计算词与词之间的相似性。

自学LLMs，RAG，FAISS，Transformer，BERT等相关内容笔记。不断摸索，持续更新。。。

语言模型就是一个用来估计文本概率分布的数学模型。 要衡量一句话的信息量，就要了解其中每个单词出现的频率。 N 表示 分词的长度，Gram 表示元素。