需要具备的条件
1、独立显卡,6G及以上
2、主板支持虚拟化
3、windows系统或者mac
4、windows系统默认安装大模型在c盘,磁盘剩余空间至少10G以上(后面会有修改存储路径的方法)
5、windows安装powershell(建议安装,也可以不安装)
安装步骤(以windows11为例)
1、安装git git-scm.com/downloads 安装后,运行cmd,执行git -v,返回版本信息,则证明安装成功
2、开启虚拟化
开启后,重启电脑以便生效。
3、安装docker www.docker.com/products/do…
下载后双击安装docker
4、安装ollama ollama.com/download
安装完后运行,打开浏览器访问测试页面: http://127.0.0.1:11434/
显示“Ollama is running”
5、克隆github上的项目 创建一个目录,例如G:\damoxing,进入目录,点击右键“在终端打开” 以管理员身份打开cmd执行命令:git clone github.com/open-webui/…
6、启动容器
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-
webui:main
7、下载模型 打开gemma站点,选择models
点开链接,选择版本后,copy命令
在cmd中粘贴执行:ollama run llama2-chinese:13b
8、打开页面,注册、登录 打开链接:http://localhost:3000/auth
9、其它一些设置 登录后,点击左下角选择settings,可以根据自己的需求修改。
10、测试
在最上端选择模型后就可以对话了。
“你们抓周树人关我鲁迅什么事?”这句话是什么意思
可以看出中文方面还是很拉胯的,不过国内做得好。
映射模型存储目录
如果你的c盘目录不够大,可以执行以下步骤
1、退出正在占用C:\Users\Administrator.ollama\models\blobs\目录的程序,这里是docker和ollama
2、将C:\Users\Administrator.ollama\models\blobs\目录重命名,例如改成blobs_bak
3、以管理员身份运行cmd
4、执行以下命令
# 切换到指定目录
cd C:\Users\Administrator\.ollama\models
# 创建目录符号链接
mklink /D blobs\ F:\ollamacache
# 注:切换到指定目录的原因是直接执行创建目录符号链接时报错“系统找不到指定的路径。”(猜测原因是因为含有隐藏目录)
5、将C:\Users\Administrator.ollama\models\blobs\目录下的模型数据,复制到新的目录F:\ollamacache下【一定不要忘记】
6、启动ollama和docker,可以正常启动,且能找到已经安装过的模型,则证明创作成功。
7、测试:下载新的模型,c盘存储没有增加,而是存储到了F:\ollamacache目录下,且能够正常使用。
8、最后,删除备份的数据blobs_bak