前言
初衷:我想搭建一个属于个人的知识库,方便自己查资料,方便辅导孩子。
问:我有16G 5060ti显卡,我有32G内存,我会安装7b模型,我想要实现自己的知识库问答,我该如何做?
AI回答: 拥有 [RTX 5060 Ti 16G] 和 32G 内存,你的硬件条件非常优秀,完全可以流畅运行 7B 甚至 14B 的模型。 推荐Ollama (后端) + MaxKB (知识库管理)
方案:Ollama (后端) + MaxKB (知识库管理)
一、安装ollama
下载、安装、启动。启动后的界面如图所示:
AI问答提示词:Windows如何安装ollama
二、安装MaxKB
AI问答提示词:Windows如何安装MaxKB
温馨提示:Windows 版 Docker Desktop 可以通过 NVIDIA Container Toolkit 直接调用宿主机的 GPU 驱动。你不需要在 Linux 子系统里折腾复杂的显卡驱动安装,MaxKB 运行 Embedding 模型时能直接吃满你的 5060 Ti 性能。
准备工作:安装 Docker Desktop
-
开启 WSL2 虚拟化: 以管理员身份打开 PowerShell,运行:wsl --install。 重启电脑以完成 Linux 子系统安装。
-
下载Docker Desktop
-
运行安装程序:安装过程中确保勾选 "Use the WSL 2 based engine" 选项。安装完成后,启动 Docker Desktop 并确保右下角托盘中的 Docker 图标显示为绿色(Running)。
第一项:Use WSL 2 instead of Hyper-V (recommended)
- 务必勾选(保持打勾) 。
- 原因:这是让 Docker 调用你 RTX 5060 Ti 显卡的关键。WSL 2 架构比传统的 Hyper-V 更轻量、速度更快,且对 GPU 虚拟化支持极好。
第二项:Allow Windows Containers to be used with this installation
- 不要勾选(保持空白) 。
- 原因:我们要运行的 MaxKB 是基于 Linux 镜像的。如果开启这个选项,Docker 会切换到 Windows 容器模式,反而无法运行绝大多数 AI 模型和知识库工具。
第三项:Add shortcut to desktop
- 根据个人习惯选择。
- 勾选后会在桌面生成 Docker 图标。
一键部署MaxKB
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data registry.fit2cloud.com/maxkb/maxkb
访问与初始化
-
登录系统:在浏览器输入
http://localhost:8080。 -
默认账号:
- 用户名:
admin - 初始密码:
MaxKB@123..
- 用户名:
-
修改密码:首次登录后,系统会强制要求修改初始密码。
关键配置:连接本地 Ollama
既然你已经安装了 Ollama 和 7B 模型,需要在 MaxKB 中完成对接:
- 选择私有模型下的Ollama,点击添加模型
-
API 地址:
- 如果在同一台电脑,由于是在 Docker 容器内访问宿主机,地址通常填:
http://host.docker.internal:11434。 - 注意:你可能需要先修改 Ollama 的环境变量。设置
OLLAMA_HOST=0.0.0.0并重启 Ollama,否则 Docker 容器会被宿主机的防火墙拦截。
- 如果在同一台电脑,由于是在 Docker 容器内访问宿主机,地址通常填:
三、配置智能体
- 新建一个简易智能体
-
配置描述、提示词、保存、发布
-
使用智能体