下载ollama框架 下载本地大模型
ollama官网下载地址,如果打不开,记得魔法上网。
选择你想要的大模型下载到本地,到命令行窗口, ollama run "你要的大模型名字" ,就可以把大模型拉到本地,但是这个大模型,还只是一个本地大模型,并没有那个丰富的功能,所以我们就需要docker + MaxKB就可以实现微调大模型,创建本地知识库,跑私有本地大模型等操作。
MaxKB
MaxKB = Max Knowledge Base,是一款基于大语言模型和 RAG 的开源知识库问答系统,广泛应用于智能客服、企业内部知识库、学术研究与教育等场景。作为一款专注于知识库问答场景的软件产品,MaxKB 能够为企业的智能化进程注入新的动力,助力企业实现“提质增效”的目标。在知识库管理方面,MaxKB 帮助企业实现知识采集、知识入库、知识库构建的全流程自动化;在场景化智能搜索方面,MaxKB 能够解析用户输入的问题并匹配检索知识库;在回复准确性方面,MaxKB 采用了成熟的 LLM + RAG 技术,能够最大限度地降低大模型幻觉对知识搜索准确性的干扰,提高企业对业务数据的分类与召回能力;安全性方面,MaxKB 支持本地部署和调用本地大模型,有效管控企业使用知识库时越级访问的风险,以及公有模型在数据传输方面可能存在的安全隐患。借助 MaxKB,企业用户可以快速上线业务 AI 助手,将生成式 AI 能力应用于业务数据管理、内部资料查询、线上客户服务等领域,优化业务服务流程并切实提升用户体验。
部署服务器要求:
- 操作系统:Ubuntu 22.04 / CentOS 7.6 64 位系统
- CPU/内存:4C/8GB 以上
- 磁盘空间:100GB
因为MaxKB是需要Linux的操作系统,Windows要跑只能在docker中创建。
Docker
Docker下载地址,打不开,记得科学上网 Docker: Accelerated Container Application Development 。
下载完有可能碰到的问题:
- windows功能还没有开启虚拟化的功能
搜索启动或关闭windows功能 ,把关于虚拟机的打开。
2.WSL未安装或容器设置问题,解决方案是检查并安装WSL
现在,可以使用单个命令安装运行 WSL 所需的一切内容。 在管理员模式下打开 PowerShell 或 Windows 命令提示符,方法是右键单击并选择“以管理员身份运行”,输入 wsl --install 命令,然后重启计算机。
PowerShell
wsl --install
3. HV主机服务未运行
启动它。
这里就完成了Docker的安装,这里两个Containers是我已经创建好的,一个是maxkb,另一个是open-webUI都是非常好的把模型做微调和可视化的。
以下就是安装MaxKB和部署本地大模型。
安装MaxKB
Linux 操作系统
docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb
Windows 操作系统
docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb
用Docker安装完以后就能在Docker中看到自动部署的容器,但是这种重新开机,本地知识库就没了,所以需要删除自动部署的容器,再自己创建一个。
1.在images中run maxkb。
2.高级选项
/var/lib/postgresql/data
自己创建一个container,这样数据就不会关机重启丢失了。
打开MaxKB界面,登录账号密码
默认登录信息 用户名:admin 默认密码:MaxKB@123..
登录以后得修改密码。
到这ollama下载的本地大模型就派上用场了。
添加私有模型,ollama选择你下载好的大模型,API域名添http:127.0.0.1:11434, 如果不行 就写host.docker.internal:11434, 因为docker部署的。如果还不行,检查ollama是否正确安装和选的模型是否正确,API KEY随便自己填。
这里就完成基本的搭建。
私有大模型的好处
- 数据隐私与安全:将模型和数据保留在本地服务器上,有助于确保敏感信息不被泄露给第三方。这对于处理个人身份信息(PII)、医疗记录或企业机密等敏感数据尤为重要。
- 定制化服务:通过使用私有知识库训练模型,可以根据特定业务需求对模型进行微调,使其更加符合特定行业或组织的专业术语、流程及背景知识。这提高了模型在特定应用场景中的准确性和实用性。
- 响应速度:直接在本地运行模型通常比通过网络连接远程API更快,因为减少了网络延迟。对于需要实时交互的应用来说,这一点至关重要。
- 成本控制:虽然初期投资可能较高(包括硬件采购、维护以及开发成本),但从长远来看,拥有自己的基础设施可以帮助降低对外部服务提供商的依赖,从而减少长期运营费用。
- 灵活性与控制力:拥有完全控制权意味着可以根据实际情况随时调整模型参数、更新训练数据集或改进算法逻辑,而无需受限于外部平台的规定或限制。
- 持续学习能力:能够利用最新的内部数据不断训练和优化模型,使系统保持最新状态,适应快速变化的环境。这对于需要频繁更新知识库的企业尤其有利。
- 合规性:某些行业受到严格的法规约束,如GDPR(欧盟通用数据保护条例)或其他国家/地区的类似规定。部署本地解决方案更容易满足这些法律要求,同时避免了跨境数据传输带来的复杂问题。
- 技术独立性:建立自己的AI生态系统减少了对外部技术供应商的依赖,增加了企业的自主创新能力,有利于形成核心竞争力。