DecryptPrompt

当前RAG多数只让模型基于检索内容回答，其实限制了模型自身知识压缩形成的智能。既要事实性又要模型智能，需要最大化使用模型内化到参数中的信息，只在必要时调用外部知识。这里介绍前置和后置处理的几种方案

话接上文的召回多样性优化，这一章我们唠唠召回的信息密度和质量。同样参考经典搜索和推荐框架，这一章对应排序+重排环节。我们先对比下经典框架和RAG的异同，再分别介绍几种适用大模型的排序和重排方案~

看完openai闭门会议对RAG又有些新的思考。这一章我们参考主流的搜索框架，结合新老论文，和langchain新功能聊聊RAG框架中召回多样性的优化方案，包括如何提高query多样性和索引多样性

这一章我们聊聊大模型在数据分析领域的应用。数据分析主要是指在获取数据之后的数据清洗，数据处理，建模，数据洞察和可视化的步骤。这里我们聊两篇论文：Data-Copilot 和 InsightPilot

前四章不论是和数据库和模型还是和搜索引擎交互，更多还是大模型和人之间的交互。这一章我们来唠唠只有大模型智能体的世界！分别基于源码介绍斯坦福小镇和Chatdev两篇论文

这一章介绍通过扩写，改写，以及回译等半监督样本挖掘方案对种子样本进行扩充，提高种子指令样本的多样性和复杂度，这里我们分别介绍Microsoft，Meta和IBM提出的三个方案。

总结下指令微调、对齐样本筛选相关的方案包括LIMA，LTD等。论文都是以优化指令样本为核心，提出对齐阶段的数据质量优于数量，少量+多样+高质量的对齐数据，就能让你快速拥有效果杠杠的模型

这一章我们来唠唠大模型和DB数据库之间的交互方案，除了基于Spider数据集的SOTA方案DIN之外，还会介绍两个改良方案C3和SQL-Palm，以及更贴合实际应用的大规模复杂SQL数据集BIRD。

本章介绍如何和搜索引擎进行交互的LLM Agent设计，主要包含以下几个模块：搜索改写，事实抽取，聚合推理，行为交互。我们会以WebCPM为基础，同时介绍WebGPT，WebGLM的异同

本章介绍基于模型微调，支持任意多工具组合调用，复杂工具调用的方案。工具调用的核心是3个问题：在哪个位置使用工具，使用什么工具，如何生成调用语句 - Gorilla & Toolformer

这一章我们正式进入大模型应用，聊聊如何把思维链和工具使用结合得到人工智能代理。先介绍基于Prompt的零微调方案Self Ask和React，我们会结合langchain写个简单的Agent来玩一玩

现实场景中考虑成本和推理延时，大家还是希望能用6B的模型就不用100B的大模型。但在前两章反复提到小模型不具备思维链推理能力，那这个能力有可能通过后天训练来获得么？如何让小模型具备COT能力呢？

这一章我们追本溯源，讨论下COT的哪些元素是提升模型表现的核心。结合两篇论文的实验结论，可能导致思维链比常规推理拥有更高准确率的因素有:思维链的推理过程会重复问题中的核心实体；正确逻辑推理顺序的引入

这一篇真的是解密prompt！我们会讨论下思维链(chain-of-Thought)提示词究竟要如何写，如何写的更高级，介绍包括few-shot，zero-shot，循序渐进式和一致性COT的写法

这一章我们聊聊有哪些方案可以不用微调直接让大模型支持超长文本输入，粉笔介绍显式搜索，unlimiformer隐式搜索，并行输入的PCW，和并行解码的NBCE方案

RLHF是针对有用，无害，事实性等原则，把模型输出和人类偏好进行对齐的一种方案。以OpenAI为基础，本章会对比DeepMind, Anthropic在RLHF步骤中的异同，试图理解RLHF究竟做了啥

上一章介绍了如何基于APE+SELF自动化构建指令微调样本。这一章咱就把微调跑起来，主要介绍以Lora为首的低参数微调原理，环境配置，微调代码，以及大模型训练中显存和耗时优化的相关技术细节

把AutomaticPromptEngineer指令逆向工程，SELFInstruct指令扩充组个CP，完全依LLM来构建指令微调样本集！在医疗领域经初步尝试了下，附简化代码和可视化应用

这一章我们聊聊指令微调，模型还是那个熟悉的模型，核心的差异在于指令集和评估侧重点的不同，每个模型只侧重介绍差异点。按时间顺序分别是Flan，T0，InstructGPT， Tk-Instruct

这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品。