一、基础环境搭建
安装 Ollama
常规下载
首先，访问Ollama 官网 ，根据你的操作系统（Windows、Mac 或 Linux），选择对应的安装包进行下载。下载完成后，按照安装向导的提示逐步完成安装。在安装过程中，Ollama 服务会自动在电脑后台运行。对于 Linux 系统用户，还可以在终端执行curl -fsSL ollama.com/install.sh | sh来完成安装。
编辑
其他下载地址
如果在下载过程中遇到网络速度过慢的情况，在这里我分享自己网盘里面的链接，方便大家下载: pan.baidu.com/s/1ZKmlK-De… 提取码: kcfi
安装验证
安装完成后，为了确认 Ollama 是否成功安装，在终端输入ollama -v 。如果安装正确，终端会显示 Ollama 的版本号，这就表明你已经成功完成了基础环境搭建的第一步。（注意：使用大模型，需要相对于高版本的ollama，我这里是0.12.3版本）
编辑
ollama -v
二、模型部署
打开终端或 CMD 命令窗口，输入对应的运行指令：ollama pull modelscope.cn/starrybeam/chuxiaoying-1.7b-gguf ，下载大模型。
编辑
知识库还需要安装嵌入模型和重排模型，执行ollama pull modelscope.cn/gpustack/bge-m3-GGUF 下载嵌入模型，执行ollama pull modelscope.cn/gpustack/bge-reranker-v2-m3-GGUF 下载重排模型
三、安装配置 “Chatbox”
前往chatbox官方网站（chatboxai.app/zh），根据你的操作系… Windows、Mac 和 Linux）下载对应的安装包。
编辑
安装
下载完成后，对于 Windows 系统，双击安装包，按照安装向导提示完成安装，期间可能需要同意用户协议、选择安装路径等常规步骤；对于 Mac 系统，将下载的应用程序文件拖移到 “应用程序” 文件夹；Linux 系统用户根据下载的安装包类型（如.deb 或.rpm），在终端使用相应命令进行安装，例如对于.deb 包，在终端进入安装包所在目录，执行sudo dpkg -i [安装包名.deb] 。
配置
打开 Chatbox，在设置中找到 “模型提供方” 选项。
编辑
选择ollama，配置API主机为“http://127.0.0.1:11434”,点击“获取”按钮，可以查看当前已经下载的模型清单
编辑
点击“+”,添加模型，这里我们需要添加上面下载的三个模型
编辑
修改模型配置，
编辑
编辑
modelscope.cn/gpustack/bge-reranker-v2-m3-GGUF模型的模型类型需要修改为“重排”，modelscope.cn/gpustack/bge-m3-GGUF模型的模型类型需要修改为“嵌入”。修改完毕后效果如下图
编辑
此外还需要设置默认模型，选择你上面下载的模型即可
编辑
使用
接下来可以与大模型进行对话了
编辑
通过以上步骤，可以本地部署的大模型进行交互。此外你还可以使用个人资料构建知识库，来帮助你解决工作中的问题。
构建知识库
点击“设置”-“知识库”-“添加”，可以创建个人知识库
编辑
创建知识库的时候，需要配置嵌入模型和重排模型，选择我们上面下载的模型
编辑
知识库创建完成之后，可以将相关文档添加到知识库中，并等待完成知识库构建
编辑
知识库构建完成之后，我们可以在对话中引用该知识库，提升模型回答准确性
