引言
去年7月份的时候就听说过chatgpt大模型，作为AI小白也不知道怎么入门，对机器的门槛也是比较高，一时也不知道该怎么玩。后来在github上找到一个基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型。
下载了机器配置要求最低的模型版本——Chinese-Alpaca-2-1.3B，推理部分用llama.cpp，一路按着教程步骤操作：克隆和编译llama.cpp、生成量化版本模型、加载并启动模型......
一顿操作下来，愣是卡在中途， 不是python版本不对，就是make不行。好不容易make搞好了，编译又出现了问题。唉，搞了3-4天的功夫，最后还是放弃了（这里有一说一，为啥程序猿都喜欢用mac电脑，实在因为window有太多环境需要配置了，也可能我是个渣渣）
转折
直到有了 Ollama——一个简明易用的本地大模型运行框架。
Ollama 安装十分简单，macOS 直接在官网下载安装包打开运行。
Liunx用户直接运行以下命令安装。
curl https://ollama.ai/install.sh | sh
window用户，官方还未提供安装包。
没办法，那只能使用WSL在windows上安装 Liunx来体验。
先看看我的机器配置，CPU是i5-4570、内存是20G，window 10 专业版，模型最低配置要8G，我这个配置应该勉强够跑。
打开命令行工具，输入安装WSL命令
wsl --install
这一步安装比较快，然后就是设置用户名和密码
接下来就是运行安装ollama命令
curl https://ollama.ai/install.sh | sh
这一步会出现网络超时的问题，试了一下修改代理地址上vpn，试了很久还是安装失败，这个方法并没有起什么作用。
最后找到一个方法，通过修改hosts文件，直接将github.com做个ip指向。
sudo vim /etc/hosts
输入密码后，按 i 增加以下配置
# github 注意下面的IP地址和域名之间有一个空格
140.82.114.3 github.com
199.232.69.194 github.global.ssl.fastly.net
185.199.108.153 assets-cdn.github.com
185.199.109.153 assets-cdn.github.com
185.199.110.153 assets-cdn.github.com
185.199.111.153 assets-cdn.github.com
按 Esc 退出输入模式， :wq 保存完后，在ping 一下 github.com
执行成功~
接着是下载模型文件，使用以下命令可以下载 llama2-chinese 中文模型。
ollama pull llama2-chinese
等了许久，3.8GB的模型终于下载完了。
可以使用 run 命令运行模型，直接将消息附在命令后。
ollama run llama2-chinese "菊花为什么是红色的？"
撒花庆祝~~
只是这个机器配置太低了，体验很差劲~~不过，终于是在window上体验了一把本地大模型了。
更多模型可以上官方github找命令下载安装，根据你的机器配置来，7B最低配置是内存要8GB，如果配置更好，可以跑13B或者33B的模型。
上手
如果仅仅只是命令行的形式，总觉得体验不是很好，ollama同样提供了很多周边工具做选择。
其中体验较好的是ollama-webui用于聊天交互的用户友好的 Web 界面。
其特点就是从ChatGPT中汲取友好的聊天界面，使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）无缝安装，还可以在不同聊天模型之间无缝切换，实现多样化交互。
ollama-webui 的安装也很简单，直接使用docker命令安装就好了。
先用浏览器访问一下页面，看看ollama服务有没有在本机运行http://127.0.0.1:11434/
这里有个注意的点，就是window使用wsl运行的时候，看着像是两台机器，实际上可以直接访问.
新建一个cmd命令行窗口，如果是ollman在本机运行，运行一下docker命令，也是本人采用的方式。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama-webui:/app/backend/data --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main
如果你的ollama服务是运行在别处，请修改OLLAMA_API_BASE_URL变量中的值后，运行以下命令：
docker run -d -p 3000:8080 -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api -v ollama-webui:/app/backend/data --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main
运行成功后，从docker-desktop中可以看到。如果没有docker-desktop，直接上docker官网下载。
用浏览器打开 http://localhost:3000/ ，哇哦，可以看到ollama-webui的界面了。
注册邮箱，设置密码，有可能出现一开始进来没找到ollama的服务的提示。
没事，我们在这里设置这里可以改变ollama的后台服务地址，点击同步，返回成功提示代表web界面跟后台服务打通了。
选择模型后，就可以开启一个对话了。
输入问题，体验一下吧~
结语
到这里，ollama-webui的体验告一段落了，还有更多的功能可以挖掘，例如OllamaHub 提供了各种令人兴奋的可能性来增强您与 Ollama 的聊天互动！🚀。如果文章反馈比较好，我可以出下一期关于ollamahub的内容。
如果你感兴趣，欢迎关注公众号：程序员小M，和我建立联系。
