What
ollama是一个在本地运行LLM的工具,由于官方维护了镜像,其安装过程非常轻松顺滑
gemma是谷歌发布的open model,分成2B和7B两个版本,7B模型在跑分上各方面均优于llama2。
区别于open source model, 谷歌对open model的定义是可以自由访问模型,但是在使用、分发和修改后的所有权上可能受限
How
- 前置条件
- 安装docker
由于ollama提供了docker镜像,整个安装过程只需要两行命令
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama run gemma:2b
运行上述命令后,就会开始下载并运行镜像
模型下载完成后,就可以在命令行与LLM交互