MaxKB 集成langchain + Vue + PostgreSQL 的 本地大模型+本地知识库 构建私有大模型 | MarsCode AI刷题

58 阅读5分钟

下载ollama框架 下载本地大模型

ollama官网下载地址,如果打不开,记得魔法上网。

选择你想要的大模型下载到本地,到命令行窗口, ollama run "你要的大模型名字" ,就可以把大模型拉到本地,但是这个大模型,还只是一个本地大模型,并没有那个丰富的功能,所以我们就需要docker + MaxKB就可以实现微调大模型,创建本地知识库,跑私有本地大模型等操作。

image.png

MaxKB

MaxKB = Max Knowledge Base,是一款基于大语言模型和 RAG 的开源知识库问答系统,广泛应用于智能客服、企业内部知识库、学术研究与教育等场景。作为一款专注于知识库问答场景的软件产品,MaxKB 能够为企业的智能化进程注入新的动力,助力企业实现“提质增效”的目标。在知识库管理方面,MaxKB 帮助企业实现知识采集、知识入库、知识库构建的全流程自动化;在场景化智能搜索方面,MaxKB 能够解析用户输入的问题并匹配检索知识库;在回复准确性方面,MaxKB 采用了成熟的 LLM + RAG 技术,能够最大限度地降低大模型幻觉对知识搜索准确性的干扰,提高企业对业务数据的分类与召回能力;安全性方面,MaxKB 支持本地部署和调用本地大模型,有效管控企业使用知识库时越级访问的风险,以及公有模型在数据传输方面可能存在的安全隐患。借助 MaxKB,企业用户可以快速上线业务 AI 助手,将生成式 AI 能力应用于业务数据管理、内部资料查询、线上客户服务等领域,优化业务服务流程并切实提升用户体验。

部署服务器要求:

  • 操作系统:Ubuntu 22.04 / CentOS 7.6 64 位系统
  • CPU/内存:4C/8GB 以上
  • 磁盘空间:100GB

因为MaxKB是需要Linux的操作系统,Windows要跑只能在docker中创建。

Docker

Docker下载地址,打不开,记得科学上网 Docker: Accelerated Container Application Development

下载完有可能碰到的问题:

  1. windows功能还没有开启虚拟化的功能

搜索启动或关闭windows功能 ,把关于虚拟机的打开。

image.png

2.WSL未安装或容器设置问题,解决方案是检查并安装WSL

现在,可以使用单个命令安装运行 WSL 所需的一切内容。 在管理员模式下打开 PowerShell 或 Windows 命令提示符,方法是右键单击并选择“以管理员身份运行”,输入 wsl --install 命令,然后重启计算机。

PowerShell

wsl --install

3. HV主机服务未运行

image.png

启动它。

image.png

这里就完成了Docker的安装,这里两个Containers是我已经创建好的,一个是maxkb,另一个是open-webUI都是非常好的把模型做微调和可视化的。

以下就是安装MaxKB和部署本地大模型。

安装MaxKB

Linux 操作系统 docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb

Windows 操作系统 docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb

用Docker安装完以后就能在Docker中看到自动部署的容器,但是这种重新开机,本地知识库就没了,所以需要删除自动部署的容器,再自己创建一个。

1.在images中run maxkb。

image.png

2.高级选项

image.png

/var/lib/postgresql/data

自己创建一个container,这样数据就不会关机重启丢失了。

打开MaxKB界面,登录账号密码

默认登录信息 用户名:admin 默认密码:MaxKB@123..

登录以后得修改密码。

到这ollama下载的本地大模型就派上用场了。

添加私有模型,ollama选择你下载好的大模型,API域名添http:127.0.0.1:11434, 如果不行 就写host.docker.internal:11434, 因为docker部署的。如果还不行,检查ollama是否正确安装和选的模型是否正确,API KEY随便自己填。

image.png

这里就完成基本的搭建。

私有大模型的好处

  1. 数据隐私与安全:将模型和数据保留在本地服务器上,有助于确保敏感信息不被泄露给第三方。这对于处理个人身份信息(PII)、医疗记录或企业机密等敏感数据尤为重要。
  2. 定制化服务:通过使用私有知识库训练模型,可以根据特定业务需求对模型进行微调,使其更加符合特定行业或组织的专业术语、流程及背景知识。这提高了模型在特定应用场景中的准确性和实用性。
  3. 响应速度:直接在本地运行模型通常比通过网络连接远程API更快,因为减少了网络延迟。对于需要实时交互的应用来说,这一点至关重要。
  4. 成本控制:虽然初期投资可能较高(包括硬件采购、维护以及开发成本),但从长远来看,拥有自己的基础设施可以帮助降低对外部服务提供商的依赖,从而减少长期运营费用。
  5. 灵活性与控制力:拥有完全控制权意味着可以根据实际情况随时调整模型参数、更新训练数据集或改进算法逻辑,而无需受限于外部平台的规定或限制。
  6. 持续学习能力:能够利用最新的内部数据不断训练和优化模型,使系统保持最新状态,适应快速变化的环境。这对于需要频繁更新知识库的企业尤其有利。
  7. 合规性:某些行业受到严格的法规约束,如GDPR(欧盟通用数据保护条例)或其他国家/地区的类似规定。部署本地解决方案更容易满足这些法律要求,同时避免了跨境数据传输带来的复杂问题。
  8. 技术独立性:建立自己的AI生态系统减少了对外部技术供应商的依赖,增加了企业的自主创新能力,有利于形成核心竞争力。