从流域到海域

介绍了 RAG（Retrieval Augmented Generation，检索增强生成 with Rerank，并详细讲述了 Rerank 的必要性以及二阶段检索的流程。

Meta AI于2023年7月19日宣布开源LLaMA模型的二代版本Llama2，并在原来基础上允许免费用于研究和商用。作为LLaMA的延续和升级，Llama2的训练数据扩充了40%，达到2万亿token，并且可处理的上下文增倍，达到4096个token。整体finetuning...

NEFTune方法的原理仅使用一句话就可以描述清楚：在finetune过程的词向量中引入一些均匀分布的噪声即可明显地提升模型的表现

LLaMA架构，三个关键点及对应原理，一些实现源码 `LLaMA`是一个基于transformer架构的大语言模型，同Google的PaLM一样，针对原始的transformer架构进行了一些“**小

自然语言处理进入大语言模型（Large Language Model, LLM）时代之后，模型的参数量级越来越庞大，以稍早之前的GPT-3为例，它有175B即1亿7千5百万参数，而ChatGPT及后续模型则更大。一方面大语言模型解决自然语言处理任务所需的涌现能力确实需要如此量级的...

Attention Mechanism 机制基本公式 address memory (score function) $$e_{ij}=f(q_i, p_j)$$ normalize (aligmen

本文以QA形式总结对比了nlp中的预训练语言模型，主要包括3大方面、涉及到的模型有： 单向特征表示的自回归预训练语言模型，统称为单向模型： ELMO/ULMFiT/SiATL/GPT1.0/GPT2.

假定输入为Q(Query), Memory中以键值对(K,V)形式存储上下文。那么注意力机制其实是Query到一系列键值对(Key, Value)上的映射函数。

LoRA LoRA的提出在上述PEFT方法之后，来自微软的研究者认为，现有的Adapter Tuning和Prefix Tuning这两种方法均有缺点： Adapter Layers Introduc