如何本地搭建大模型!!!!

212 阅读2分钟

很多时候在思考 是否可以本地搭建ai大模型,然后把自己的代码喂进去,然后后续只需要传入数据文件配合配置式开发后台管理结合在一起 就可以自动生成后台管理(暂时用于后台管理)

调研:Ollama ollama.com/

image.png

下载大模型

  1. 下载与安装

    • 访问Ollama的官方网站:ollama.com/
    • 点击下载按钮,选择适合你操作系统的版本进行下载。
    • 安装包下载完成后,双击运行安装程序,按照提示完成安装。
  2. 验证安装

    • 安装完成后,打开命令行工具(在Windows中是CMD或PowerShell,Mac中是Terminal)。
    • 输入ollama -v,如果显示版本号,则表示安装成功。

image.png

window 环境变量 (Mac用户不用看)

为了避免大模型占用过多C盘空间,你可以修改Ollama的模型保存路径。

  1. 修改环境变量

    • 右键点击“此电脑”(Windows)或“系统偏好设置”(Mac),选择“属性”或“高级系统设置”。
    • 进入“环境变量”设置,新建一个名为OLLAMA_MODELS的变量,并指向你希望存放模型的目录。

image.png

下载大模型

image.png

image.png

  1. 选择并下载大模型

    • Ollama支持多种大模型,你可以在Ollama的官方模型库中选择合适的模型进行下载。

    • 例如,要下载经过中文微调的Llama3-8b大模型,你可以在命令行中输入:

      ollama run llama3.3
      
  2. 运行大模型

    • 下载完成后,模型会自动启动一个对话界面。你可以开始与它进行交互了。

image-20250110185952795.png

#可能遇到问题:

1.这个错误表明,运行 llama3.3 模型需要的系统内存 (42.0 GiB) 超出了你的系统可用内存 (9.0 GiB) image-20250114102056465.png --升级自己的配置 --运行其他较小的模型 image-20250114102101806.png

第一步启动成功!!后面会一步步实现!!