使用 Ollama 本地体验LLM实战

5 阅读2分钟

Ollama

DeepSeek vs Ollama vs opencode

维度DeepSeekOllamaopencode
本质大语言模型 (LLM)本地模型管理与运行框架AI 编程智能体 (Agent)
角色提供思考和生成能力的“源头”负责把模型安装并跑在你的硬件上调用模型来帮你完成具体的编程任务
功能理解语义、编写代码、逻辑推理下载模型、提供 API 接口、管理显存自动修改项目文件、修复 Bug、运行代码
类比一本书里的知识一个书架或阅读器一个会查书并帮你代写论文的学生

1、安装

  • 方式一:直接双击则安装到默认目录

  • 方式二:安装到指定目录:

# 在cmd中执行如下命令
OllamaSetup.exe /DIR="G:\Net_Ollama" 
  • 方式三:在github 中下载后直接解压
  1. 增加环境变量

关键:将上述安装目录 放置到 Path 环境变量中

  1. 验证是否安装成功
# 查看版本号
ollama -v 

#查看帮助
ollama -h
  1. 指定 LLMs 的保存位置

新增环境变量OLLAMA_MODELS

  1. 运行
ollama serve

2、安装模型

  • 使用默认域名安装LLMs
# 默认情况以下三种方式等价:
ollama pull bge-m3
ollama pull library/bge-m3
ollama pull registry.ollama.ai/library/bge-m3

  • 使用指定域名安装LLMs
# 使用内部域名 ollama.xxxx.com
# --insure的作用为跳过 SSL 证书验证
ollama pull ollama.xxxx.com/library/bge-m3 --insecure

# 比如,通过魔塔社区拉取模型
ollama pull modelscope.cn/Qwen/Qwen3-0.6B-GGUF
  • 查看本地安装的LLMs
# 查看本地安装的LLMs
ollama list

注:

  • 先运行 Ollama 服务,才能拉取模型
  • 查找模型:ollama.com/search
  • GGUF ??

3、运行

  • 通过名称运行模型
ollama run ollama.xxxx.com/library/qwen3:0.6b
  • 运行成功后,可以直接对话

  • 输入 /bye 退出

在浏览器中体验

  • 在浏览器中安装插件 Page Assist,保持默认即可连接本地的 Ollama 服务
  • 添加Embedding Modelnomic-embed-text:latest