ollama: 两行命令,在本地运行gemma

552 阅读1分钟

What

ollama是一个在本地运行LLM的工具,由于官方维护了镜像,其安装过程非常轻松顺滑

gemma是谷歌发布的open model,分成2B和7B两个版本,7B模型在跑分上各方面均优于llama2。

区别于open source model, 谷歌对open model的定义是可以自由访问模型,但是在使用、分发和修改后的所有权上可能受限

image.png

How

  • 前置条件
    • 安装docker

由于ollama提供了docker镜像,整个安装过程只需要两行命令

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama run gemma:2b

运行上述命令后,就会开始下载并运行镜像

image.png

image.png 模型下载完成后,就可以在命令行与LLM交互