近两年大模型火出天际；同时，也诞生了大量针对大模型的优化技术。本系列将针对一些常见大模型优化技术进行讲解。

本文不讨论公式，只解读图表，旨在让更多读者看完就能通俗地、成体系地给身边其他人讲清楚 Transformer 工作原理，从而真正理解它究竟为什么如此火爆。

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。目前正在学习这方面相关的内容，因此简单谈谈。

因为项目的需要，之前研究了一段时间的RAG，于是本文总结 8 种 RAG 架构，对每种架构进行简要介绍，并用 langchain 实现其参考代码。

在四中，采取了数值微分的方式求损失函数关于权重参数的梯度，但是比较耗时间，这一节讲一个能够高效计算权重参数的梯度的方法——误差反向传播法。 一，计算图 计算图指的就是将计算过程用图形表示出来。 计算图

反向传播(backward propagation，简称BP)指的是计算神经网络参数梯度的方法。其原理是基于微积分中的链式规则，按相反的顺序从输出层到输入层遍历网络，依次计算每个中间变量和参数的梯度。

我们要找到一个 model function，通过调整它的参数，可以生成任何形状的函数，也就是说这个函数拥有无限的潜力。 我们的目标函数可能没有任何规律，如下图所示： 那么怎么样找到一个 model

优化RAG检索： 检索前：问题重写、子问题生成、Step-Back提示、HyDE。 检索中：元数据过滤、混合检索、Embedding微调、多路召回。 检索后：重排序、去重、内容选择压缩。

经过深入的技术调研和实践探索，我发现知识图谱与大模型的融合应用为解决这些难题提供了一条全新的技术路径。知识图谱以其结构化的知识表示能力，为医疗领域的复杂概念关系提供了清晰的建模方式；而大模型则以其强大