本地安装开源大模型

7 阅读2分钟

需要具备的条件

1、独立显卡,6G及以上

2、主板支持虚拟化

3、windows系统或者mac

4、windows系统默认安装大模型在c盘,磁盘剩余空间至少10G以上(后面会有修改存储路径的方法)

5、windows安装powershell(建议安装,也可以不安装)

安装步骤(以windows11为例)

1、安装git git-scm.com/downloads 安装后,运行cmd,执行git -v,返回版本信息,则证明安装成功

2、开启虚拟化

image.png

开启后,重启电脑以便生效。

3、安装docker www.docker.com/products/do…

下载后双击安装docker

4、安装ollama ollama.com/download

安装完后运行,打开浏览器访问测试页面: http://127.0.0.1:11434/

显示“Ollama is running”

5、克隆github上的项目 创建一个目录,例如G:\damoxing,进入目录,点击右键“在终端打开” 以管理员身份打开cmd执行命令:git clone github.com/open-webui/…

6、启动容器

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-
webui:main

7、下载模型 打开gemma站点,选择models

image.png 点开链接,选择版本后,copy命令

image.png 在cmd中粘贴执行:ollama run llama2-chinese:13b

8、打开页面,注册、登录 打开链接:http://localhost:3000/auth

image.png

9、其它一些设置 登录后,点击左下角选择settings,可以根据自己的需求修改。

10、测试

在最上端选择模型后就可以对话了。

“你们抓周树人关我鲁迅什么事?”这句话是什么意思

image.png

可以看出中文方面还是很拉胯的,不过国内做得好。

映射模型存储目录

如果你的c盘目录不够大,可以执行以下步骤

1、退出正在占用C:\Users\Administrator.ollama\models\blobs\目录的程序,这里是docker和ollama

2、将C:\Users\Administrator.ollama\models\blobs\目录重命名,例如改成blobs_bak

3、以管理员身份运行cmd

4、执行以下命令

# 切换到指定目录
cd C:\Users\Administrator\.ollama\models 
# 创建目录符号链接
mklink /D blobs\ F:\ollamacache
# 注:切换到指定目录的原因是直接执行创建目录符号链接时报错“系统找不到指定的路径。”(猜测原因是因为含有隐藏目录)

image.png

5、将C:\Users\Administrator.ollama\models\blobs\目录下的模型数据,复制到新的目录F:\ollamacache下【一定不要忘记】

6、启动ollama和docker,可以正常启动,且能找到已经安装过的模型,则证明创作成功。 image.png

7、测试:下载新的模型,c盘存储没有增加,而是存储到了F:\ollamacache目录下,且能够正常使用。

8、最后,删除备份的数据blobs_bak