一条命令启动魔法
ollama run qwen:4b
Ollama安装
适配Win、Macos和Linux,不需要显卡也能安装
配置清单
配置一:Macbook air M1 16G+256G
配置二:Mac Studio M1 Ultra 128G+1T
两台机器都可以流畅运行,其中M1 Ultra可以运行更大参数的模型,比如LLama2-70B和Qwen-72B,其中70B规模的模型占用内存60G左右。
模型选择
有条件推荐选择Qwen 72B,亲测媲美GPT3.5,官方给出的数据,部分能力超越了3.5
魔法继续:开启WEB
开源Web界面选择
[open-webui] github.com/open-webui/… open-webui
docker启动:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
大功告成,开始探索属于你的大模型吧!
最后
“欢迎关注我的公众号,一起探索AIGC。”