放弃RAG,这才是知识库助手的终极玩法

2,629 阅读4分钟

大家好,我是老渡。

最近偶然发现,智谱AI的大模型开放平台(bigmodel.cn)默默上线了一个长文本大模型 GLM-4-Long,赶紧拿来试了一番,还顺手开发了2个大家使用频率很高的AI应用,跟朋友们分享下(完整代码见评论区)。

先来小试牛刀,阅读一本长篇电子书,看看效果

这是一本 Python 编程书,让 GLM-4-Long 总结下核心内容。

这可是 500 多页电子书!GLM-4-Long 能够做到全面、准确的总结。

从上面截图中,可以看到用的是 Python API 调用的智谱长文本大模型,模型名称是 GLM-4-Long

GLM-4-Long 模型专为处理超长文本和记忆型任务设计,极大提高了模型的上下文理解能力。支持 1M 上下文,约 150-200 万汉字,大约相当于2本《红楼梦》或 125 篇论文的。

支持API调用最大的好处是可以通过编程开发出更强大的AI应用。这里分享两个大家比较感兴趣的——知识库助手和代码阅读助手。用上 GLM-4-Long 后都起飞了。

知识库助手目前的方案大都是用 RAG 来实现,即搜索引擎。但对于大部分人来说,没有能力优化搜索引擎,所以,助手的效果也就会打折扣。

这时候,长文本大模型的优势就来了,不需要再搭建搜索引擎,直接把资料一股脑丢给大模型。

有了GLM-4-Long 以后再精读论文或者任何资料可就太方便了。

并且开发这个知识库助手简单到只需要两步。

第一步,读取上传的本地资料

第二步,本地资料送入GLM-4-Long大模型,进行问答

基本上跟调用普通大模型差别不大。

另一个项目是代码阅读助手,很多朋友之所以喜欢这个项目,是因为它可以一键阅读整个 project 下的所有源代码,比较快捷。

开发这个项目的时候,用到的大模型上下文普遍比较小,所以需要一个文件、一个文件地总结,然后再递归汇总。这个过程难免损失一些关键信息。

最糟糕情况的是,单个文件代码量超过模型上下文限制,这时候就要再对单个文件再拆分,工作量+n。

有了长文本大模型,就可以把整个项目代码拼在一起,一次性获取所有结果。

既节省工作量,还能利用大模型上下文理解能力,保证回答的质量。

除了总结整个项目,查找具体代码、修改代码,也不在话下。

以后再也不惧阅读别人的“屎山”代码了。

推荐大家都试试智谱AI的这个 GLM-4-Long 大模型,尤其是经常需要开发智能体和AI应用的朋友。