风雨中的小七

Context Cache的使用几乎已经是行业共识，目标是优化大模型首Token的推理延时，在多轮对话，超长System Prompt，超长结构化JSON和Few-shot...

本章主要覆盖以下ES相关内容 * 多Query向量查询的各种方案：Script，Knn(mesearch) * KNN查询IOUtil过高问题排查 * 如何使用Filter...

上一章畅想里面我们重点提及了大模型的记忆模块，包括模型能否持续更新记忆模块，模型能否把持续对记忆模块进行压缩更新在有限的参数中存储更高密度的知识信息，从而解决有限conte...

在DeepSeek-R1的开源狂欢之后，感觉不少朋友都陷入了技术舒适区，但其实当前的大模型技术只是跨进了应用阶段，可以探索的领域还有不少，所以这一章咱不聊论文了，偶尔不脚踏...

DeepSeek R1出来后业界都在争相复现R1的效果，这一章我们介绍两个复现项目SimpleRL和LogicRL，还有研究模型推理能力的Cognitive Behavio...

OpenAI新推出的Deep Research功能，属实有些惊艳，也验证了去年的一些观点，之后的大模型工作流会呈现一些截然不同的形态，有敏捷型的例如语音端到端的及时对话，也...

我先按照自己的思路来梳理下R1之前整个模型思维链的发展过程，可以分成3个阶段：大模型能思考，外生慢思考，内生慢思考...

之前大家推测的O1的实现路径，多数都集中在MCTS推理优化，以及STaR等样本自优化方案等等，结果DeepSeek和Kiim直接出手揭示了reason也可以从RL激发出来...

O1之后，思维链的一个简单但之前都没进入视野的特征引起了大家的注意，那就是思考的长度对推理效果的影响，更准确来说是通过哪些思考步骤来有效延长思维长度对推理的影响。这一章我们...

这一章我们先结合demo看下开源和闭源对结构化输出的支持，随后会介绍Constrained Decoding和Format Restricting Instructions...

之前分别从Verifier和Generator两个方去尝试解决Scalable Oversight的问题，本章聊聊通过Verifier和Generator相互博弈来同时提升...

前一阵多步RAG的风吹入了工业界，kimi推出了探索版本，各应用都推出了深度搜索，You.COM更是早就有了Genius的多步模式。其实都是类似multi-hop RAG的...

在模型持续提升的道路上，只提升Generator能力是不够的，需要同步提升Supervisor、Verifier的能力，才能提供有效的监督优化信号。人类提供的监督信号有几类...

想要更优的Inference Scaling，前提是模型本身已经拥有足够的生成合理推理过程的能力，同时还拥有很强的Verifier模型来对推理节点进行打分，并且二者可以在少...

Graph RAG虽好但并非Silver Bullet，它有特定适合的问题和场景，更适合作为RAG中的一路召回，用来解决实体密集，依赖全局关系的信息召回。我们来聊聊Grap...

最近在学习大模型，之前我是干过一段时间爬虫，在学习大模型的过程中，突发奇想能不能把大模型的能力结合爬虫，搞个AI爬虫玩一玩。 说干就干，先测试一下大模型的数据提取能力 我们...

OpenAI的O-1出现前，其实就有大佬开始分析后面OpenAI的技术路线，其中一个方向就是从Pretrain-scaling，Post-Train-scaling向Inf...

RAG这一章我们集中看下精排的部分。粗排和精排的主要差异其实在于效率和效果的balance。粗排和精排的主要差异其实在于效率和效果的balance。粗排模型复杂度更低，需要...

常见的多智能体框架有协作模式，路由模式，复杂交互模式等等，这一章我们围绕智能体路由，也就是如何选择解决当前任务最合适的智能体展开，介绍基于领域，问题复杂度，和用户偏好进行智...

前置判断模型回答是否需要联网，之前介绍了自我矛盾和自我拒绝者两个方案。这一章我们再补充几种基于微调，模型回答置信度和小模型代理回答的方案。...