很多时候在思考 是否可以本地搭建ai大模型,然后把自己的代码喂进去,然后后续只需要传入数据文件配合配置式开发后台管理结合在一起 就可以自动生成后台管理(暂时用于后台管理)
调研:Ollama ollama.com/
下载大模型
-
下载与安装
- 访问Ollama的官方网站:ollama.com/
- 点击下载按钮,选择适合你操作系统的版本进行下载。
- 安装包下载完成后,双击运行安装程序,按照提示完成安装。
-
验证安装
- 安装完成后,打开命令行工具(在Windows中是CMD或PowerShell,Mac中是Terminal)。
- 输入
ollama -v,如果显示版本号,则表示安装成功。
window 环境变量 (Mac用户不用看)
为了避免大模型占用过多C盘空间,你可以修改Ollama的模型保存路径。
-
修改环境变量
- 右键点击“此电脑”(Windows)或“系统偏好设置”(Mac),选择“属性”或“高级系统设置”。
- 进入“环境变量”设置,新建一个名为
OLLAMA_MODELS的变量,并指向你希望存放模型的目录。
下载大模型
-
选择并下载大模型
-
Ollama支持多种大模型,你可以在Ollama的官方模型库中选择合适的模型进行下载。
-
例如,要下载经过中文微调的Llama3-8b大模型,你可以在命令行中输入:
ollama run llama3.3
-
-
运行大模型
- 下载完成后,模型会自动启动一个对话界面。你可以开始与它进行交互了。
#可能遇到问题:
1.这个错误表明,运行 llama3.3 模型需要的系统内存 (42.0 GiB) 超出了你的系统可用内存 (9.0 GiB)
--升级自己的配置
--运行其他较小的模型
第一步启动成功!!后面会一步步实现!!