王毕业

本文探讨索引阶段的优化技巧，主要聚焦于 3 种方法：对同一文档生成多种表示的形式的多表示索引，构建分层索引的 Raptor 以及基于 token 嵌入的ColBERT。

本篇文章将聚焦于构建索引的第一阶段——文本分块，从易到难介绍 5 个级别的分块，从简单的使用字符文本切分，到最后创建一个用于切分文本的Agent。

本文继续探讨检索前阶段的优化，聚焦于路由决策和查询构建两种方法。与上篇针对用户Query的优化不同，本篇重点在于如何根据问题选择数据源，以及将自然语言转换为结构化查询。