AI大模型外部知识深度融合最佳实践方案

48 阅读2分钟

AI大模型外部知识深度融合最佳实践方案

一、AI大模型中知识库常用框架——RAG架构图【AI大模型教程】

二、RAG的技术要点

三、RAG技术可适用的业务范围有限

RAG技术方案适用场景和局限性:

1.单文档问答

2.基于文档具体内容的多文档问答

3.提问语义与文档内容相近

4.非统计类问答,比如总共有多份、带时间范围的统计、带类别统计等

四、最佳实践方案

      我们用的技术选型是数据库和RAG融合,即将数据比如主题词保存到数据库中。我们将文档整理为结构化数据(数据库,es索引或表格),选择强化大模型的Sql-Call的能力,来完成对任务的处理。同时用RAG技术进行兜底。

完整版此处有技术架构图

     让大模型解决精确计算和统计的问题,业界常见的方法就是生成python代码,外挂数据库和外挂知识库。大模型负责描述需求和生成指令,由外挂的模进行计算和统计部分。

业界技术方法优缺点对比:

优点缺点
将计算需求改成python代码,运行代码后得到结果。大模型充分接触过相关任务,通用性强,做通用任务时不需要做额外的训练。深入到具体垂直场景之后,准确率很低。 不可预置人工定义的概念,无法做定制扩展。
使用数据库(关系型数据库,ES等)统计结果精准,可以预置人工定义的概念,可以更新知识便捷,可读性和可解释性好开发工作量较大
外挂其他计算和统计工具,比如:Pandas业界有成熟的实践经验,只需预定义数据库的字段而无需建库,开发成本低,准确率较高不可预置人工定义的概念