前言
我们经常为海量文档找不到关键内容而烦恼,那么可以使用AI 帮忙轻松检索个人笔记,并且还能优化我们的文章,以我们的风格生成文章。今天,我来教你用 Ollama 和 MaxKB 搭建一个属于自己的 AI 知识库,让你的知识随时为你服务. Ollama 作为轻量级模型管理平台,可以快速安装、运行多种 AI 模型,如 DeepSeek-R1、Llama3 等。本文将手把手教你如何:
✅ 安装 Ollama ✅ 运行 DeepSeek-R1 模型 ✅ 配置 ChatBox 客户端 ✅ 构建 MaxKB 知识库
🖥️ 1. 安装 Ollama:开启你的本地 AI 之旅
✅ 1.1 下载安装 Ollama
开源地址: Ollama 官方文档
下载并解压 Ollama 安装包:
代码语言:javascript
代码运行次数:0
运行
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
安装成功后,/lib 和 /bin 文件夹下将生成相应的文件。
安装完成
✅ 1.2 启动 Ollama
代码语言:javascript
代码运行次数:0
运行
ollama serve
查看版本号确认安装是否成功:
代码语言:javascript
代码运行次数:0
运行
ollama -v
查看版本
⚙️ 2. 配置 Ollama 服务后台启动
✅ 2.1 创建用户和组
代码语言:javascript
代码运行次数:0
运行
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
✅ 2.2 配置 Ollama 的 systemd 服务
创建 ollama.service
文件:
代码语言:javascript
代码运行次数:0
运行
sudo nano /etc/systemd/system/ollama.service
添加以下配置:
代码语言:javascript
代码运行次数:0
运行
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST=0.0.0.0:11434" # 暴露端口,方便外部访问
[Install]
WantedBy=multi-user.target
✅ 2.3 启动并设置自启
代码语言:javascript
代码运行次数:0
运行
sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl enable ollama
服务配置成功
🧠 3. 下载并运行 DeepSeek-R1 模型
✅ 3.1 选择合适的 DeepSeek-R1 版本
模型版本 | 参数量 | 内存占用(近似) | 推理速度(参考) | 适用场景 |
---|---|---|---|---|
DeepSeek-R1 1.5B | 1.5B | ~1.2GB(FP16) | 极快(低端GPU/CPU) | 轻量任务、嵌入式设备、快速响应 |
DeepSeek-R1 7B | 7B | ~5GB(FP16) | 快(中端GPU/CPU) | 本地开发、对话机器人、文本生成 |
DeepSeek-R1 14B | 14B | ~12GB(FP16) | 中等(高端GPU) | 高性能需求、复杂推理、代码补全 |
DeepSeek-R1 32B | 32B | ~24GB(FP16) | 较慢(需高端GPU) | 专业任务、大规模数据处理、研究 |
模型地址: ollama.com/library/dee…
✅ 3.2 下载并运行模型
代码语言:javascript
代码运行次数:0
运行
ollama run deepseek-r1:1.5b
安装完成后,可以直接开始提问!
模型运行成功
✅ 3.3 通过 API 进行测试
代码语言:javascript
代码运行次数:0
运行
curl http://192.168.235.131:11434/api/chat -d '{
"model": "deepseek-r1:1.5b",
"messages": [
{ "role": "user", "content": "你好" }
]
}'
📚 4. Ollama 常用命令汇总
📦 4.1 模型管理
命令 | 作用 | 示例 |
---|---|---|
ollama pull <模型名> | 下载模型 | ollama pull deepseek-r1:7b |
ollama list | 查看已安装的模型 | ollama list |
ollama rm <模型名> | 删除本地模型 | ollama rm llama3:8b |
ollama cp <源模型> <新模型> | 复制模型(用于自定义) | ollama cp deepseek-r1:7b my-r1 |
💬 4.2 运行与交互
命令 | 作用 | 示例 |
---|---|---|
ollama run <模型名> | 运行模型并进入交互对话 | ollama run deepseek-r1:7b |
ollama run <模型名> "<提示词>" | 直接执行单次推理 | ollama run deepseek-r1:7b "你好!" |
Ctrl+D | 退出交互模式 | (在交互界面按组合键) |
🛠️ 4.3 自定义模型
命令 | 作用 | 示例 |
---|---|---|
ollama create <模型名> -f Modelfile | 基于 Modelfile 创建自定义模型 | ollama create my-r1 -f ./Modelfile |
ollama show <模型名> --modelfile | 查看模型的 Modelfile 配置 | ollama show deepseek-r1:7b --modelfile |
💡 5. 安装 ChatBox 客户端
ChatBox 官网: Chatbox AI
下载安装后,你就可以在本地轻松使用 DeepSeek-R1 模型进行交互。
ChatBox 启动成功
开始提问
📚 6. 构建个人知识库:MaxKB
✅ 6.1 安装并配置 MaxKB
MaxKB 文档: MaxKB 官方文档
按照文档配置 MaxKB 环境,并添加 Ollama 模型。
✅ 6.2 配置模型 API
随意填写 API Key,模型与 Ollama 连接。
添加模型
✅ 6.3 创建个人知识库
创建知识库
✅ 6.4 导入文章数据
导入文章
✅ 6.5 创建 AI 应用
创建应用
✅ 6.6 关联模型与知识库
关联模型
📝 7. 使用体验:不同模型效果对比
⚡ DeepSeek-R1 1.5B: 响应速度快,但逻辑简单,有点“呆瓜”。 🏆 DeepSeek-R1 32B: 逻辑推理能力更强,回答质量显著提升,适合高端 AI 应用。
模型效果对比
原文地址:https://cloud.tencent.com/developer/article/2508864