基于本地部署大模型的个人聊天助手

225 阅读1分钟
最近抽空完成了给自己用的私人聊天助手的基础框架,已经部署在阿里云的服务器上,算是对个人半年来大模型学习的一个小总结,访问页面如下:

image.png 作为一个大龄IT爱好者,水平实在有限,纯凭热爱和兴趣,学习是一辈子的事,继续!

1、应用部署在阿里云服务器上
2、服务器本地部署大模型,选择清华智谱的chatglm3-6B,完全开源,通过标准API接口访问
3、利用pyhton的streamlit搭建B/S访问页面
4、多轮对话聊天,支持多角色设置
5、每个角色的功能需持续优化,现在只是基础实现
6、类似的应用还有RAG知识库,支持4种类型知识库的检索增强:在线上传文档(支持多种格式的多文件上传)、已有知识库(通过知识库管理页面上传文档,存入向量数据库)、互联网指定网页(爬取页面内容)、互联网搜索(调用搜索引擎)