现在大模型开发时,用的最多Prompt工程,RAG优化。本文简单的对这2项技术进行总结。
RAG优化
- 索引优化: ES索引,BM25索引,词嵌入等
- 嵌入优化: 结合稀疏嵌入,密集嵌入, 使用多种嵌入方式组合 目前常用的词嵌入:BCG, M3E
- 切分优化: 文本切分时的优化,切分有不同的方法,按字数切分,按段落切分,表格的切分。合理的切分要语义的完整性。
- 查询优化: 查询扩展/转化,把一个查询转换成多个意义相近的多个查询。 多种检索方式组合,如迭代检索,递归检索,自适应检索。
- 上下文管理: 检索结果重排序 上下文压缩
Prompt优化:
- 原始Prompt,添加人设,添加情感(情感勒索)
- 加入样例数据 ,one-shot, few-shot
- 加入思维链, Chain of thought, Tree of thougts,Graph of throught,Algorithm of thought,后退策略