从流域到海域

介绍了 RAG（Retrieval Augmented Generation，检索增强生成 with Rerank，并详细讲述了 Rerank 的必要性以及二阶段检索的流程...

Meta AI于2023年7月19日宣布开源LLaMA模型的二代版本Llama2，并在原来基础上允许免费用于研究和商用。作为LLaMA的延续和升级，Llama2的训练数据扩...

NEFTune方法的原理仅使用一句话就可以描述清楚：在finetune过程的词向量中引入一些均匀分布的噪声即可明显地提升模型的表现...

LLaMA架构，三个关键点及对应原理，一些实现源码 `LLaMA`是一个基于transformer架构的大语言模型，同Google的PaLM一样，针对原始的transfor...

有朋友在文章下评论：能否来一篇处理滑块验证码的文章。我回复说可以一试。 随后，我便搜索网上有没有类似的文章。如果遍地都是，那我也没有必要写了……...

📕SoT是一项以数据为中心的优化工作，展示了推动语言模型更像人类思考以提高答案质量的潜力。SoT旨在减少大型语言模型的生成延迟。通过引入思维骨架的概念来实现。...

自然语言处理进入大语言模型（Large Language Model, LLM）时代之后，模型的参数量级越来越庞大，以稍早之前的GPT-3为例，它有175B即1亿7千5百万...

Attention Mechanism 机制基本公式 address memory (score function) $$e_{ij}=f(q_i, p_j)$$ norm...

本文以QA形式总结对比了nlp中的预训练语言模型，主要包括3大方面、涉及到的模型有： 单向特征表示的自回归预训练语言模型，统称为单向模型： ELMO/ULMFiT/SiAT...

假定输入为Q(Query), Memory中以键值对(K,V)形式存储上下文。那么注意力机制其实是Query到一系列键值对(Key, Value)上的映射函数。...

LoRA LoRA的提出在上述PEFT方法之后，来自微软的研究者认为，现有的Adapter Tuning和Prefix Tuning这两种方法均有缺点： Adapter L...

梯度累积 梯度累积（Gradient Accumulation）的基本思想是将一次性的整批参数更新的梯度计算变为以一小步一小步的方式进行（如下图），具体而言该方法以小批次的...

梯度检查点（Gradient Checkpointing） 如今（2023年）大模型的参数量巨大，即使将batch_size设置为1并使用梯度累积的方式更新，也仍然会OOM...

计算机表示浮点数有多种精度，其中Float16和Float32最为常见，即 fp32: Sign(1bit) + Range(8 bits) + Precision(23 ...

AdamW AdamW指的是Adam + Weight Decay（权重衰减）。 Adam相信很多读者已经了解了，Weight Decay解释起来也比较容易，为了防止过拟合...

Outputi​。将奖励模型作为Environment对模型输出进行打分，将分数作为奖励。二元分类说法并不准确，原始目标是希望对两个生成的回复进行打分即两者之间按更符合人类...

本文为作者内部分享文档，由于不涉敏可以公开，分享本身是课程形式，有什么疑问欢迎在评论区留言。关于使用计算机的方式 -> 我们这里讲的是底层的使用方式，应用层来看的话都是通过...