在前面这篇文章 juejin.cn/post/755977… 里面提到了使用chatbox搭建大模型智能助手的过程。有同学反馈：“搭建好个人知识库后，查询文档要等5秒以上，比直接问大模型还慢！”这是由于使用的个人知识库时chatbox涉及查询重写，该过程默认配置的思考模型，使用思考模型导致查询过程比较缓慢，我们可以使用更小参数的非思考模型来进行查询重写来加快速度。
两步完成模型替换
下载轻量的非推理模
在命令行中执行”ollama pull modelscope.cn/starrybeam/chuxiaoying-0.5b-gguf”
在chatbox中进行配置
获取模型模型清单
编辑
添加刚下载的轻量模型
编辑
然后在“默认模型”中，修改“默认话题命名模型”和“搜索词构建模型”为刚添加的轻量模型
编辑
接下来可以测试下速度
编辑
