拥有“魔法”:简单部署LLM

419 阅读1分钟

一条命令启动魔法

ollama run qwen:4b

image-20240408211345593.png

Ollama安装

github.com/ollama/olla…

适配Win、Macos和Linux,不需要显卡也能安装

配置清单

配置一:Macbook air M1 16G+256G

配置二:Mac Studio M1 Ultra 128G+1T

两台机器都可以流畅运行,其中M1 Ultra可以运行更大参数的模型,比如LLama2-70B和Qwen-72B,其中70B规模的模型占用内存60G左右。

模型选择

有条件推荐选择Qwen 72B,亲测媲美GPT3.5,官方给出的数据,部分能力超越了3.5

chat.lmsys.org/?leaderboar…

image.png

魔法继续:开启WEB

image.png

开源Web界面选择

[open-webui]  github.com/open-webui/… open-webui

docker启动:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

大功告成,开始探索属于你的大模型吧!

最后

“欢迎关注我的公众号,一起探索AIGC。”

img