没显卡也能玩!Ollama 本地大模型保姆级入门指南

16 阅读3分钟

如果你想在自己电脑上跑 AI,又不希望数据被大厂拿走,Ollama 绝对是目前最香的选择。不用配复杂的 Python 环境,不用求爷爷告奶奶找 API Key,只要一键安装,就能实现“大模型自由”。不过我的电脑很早就有了python环境了,忘记啥时候安装的,虽然在python方面还是个菜鸟。

1. 怎么安装

直接去 Ollama 官网 下载。有1个多G,先有个心理准备。

  • 第一步: 安装完后,它会躲在右下角任务栏。

  • 第二步: 打开终端(CMD 或 PowerShell),输入下面的命令。这是最关键的一步,它会自动下载并启动对话。

    Bash

    ollama run qwen2.5:1.5b
    

当你看到进度条跑完,出现 >>> Send a message 时,说明 AI 已经在你硬盘里安家了。 如果不想直接启动,就用这个命令:

    ollama pull qwen2.5:1.5b

2. 避坑指南(这些坑我都帮你踩过了)

  • 不要在 Python 里面运行 Python: 很多人会习惯先输入 python 进去,然后再敲命令。千万别!运行脚本是在普通的 CMD 路径下直接输入 python test.py
  • 模型名字要写全: 代码里的 model='qwen2.5:1.5b' 必须带上后缀。如果不写,它默认去找 7b 版本,没下载的话就会报 502 错误

3. 高级玩法:手摸手教你写一个 Agent

普通的聊天只是“你问我答”,但 Agent(智能体) 厉害的地方在于:它能根据你的需求,自己去调用工具

把下面的代码存成 agent_test.py

Python

import ollama

# 1. 准备一个“假装能查天气”的工具
def get_weather(city):
    return f"{city}的天气是:大晴天,25度!"

# 2. 告诉 AI 这个工具怎么用
tools = [{
    'type': 'function',
    'function': {
        'name': 'get_weather',
        'description': '查询某个城市的天气',
        'parameters': {
            'type': 'object',
            'properties': {'city': {'type': 'string'}},
            'required': ['city'],
        },
    }
}]

# 3. 核心逻辑
def ask_ai(prompt):
    res = ollama.chat(model='qwen2.5:1.5b', messages=[{'role': 'user', 'content': prompt}], tools=tools)
    
    if res['message'].get('tool_calls'):
        # AI 自动识别出需要调用 get_weather 函数
        city = res['message']['tool_calls'][0]['function']['arguments']['city']
        print(f"--- 内部观察:Agent 决定调用工具查【{city}】的天气 ---")
        result = get_weather(city) 
        
        final = ollama.chat(model='qwen2.5:1.5b', messages=[
            {'role': 'user', 'content': prompt},
            res['message'],
            {'role': 'tool', 'content': result}
        ])
        return final['message']['content']
    return res['message']['content']

print(ask_ai("北京天气怎么样?"))

4. 真实运行效果

当你退出所有多余的窗口,在文件夹里输入 python agent_test.py,你会看到极其解压的一幕:

C:\Users\Admin> python agent_test.py
--- 内部观察:Agent 决定调用工具查【北京】的天气 ---
北京今天的天气非常好,是大晴天,气温约 25 度,非常适合出门走走!

注意看: 第一行输出是我在代码里写的“内部观察”,这证明了 AI 真的理解了你的话,并精准抓取了“北京”这个参数发给了 Python 函数。

实际上,我们的函数中并没有写这些回答,多出的部分内容就是大模型自己的发挥。

你可以参考这个流程,看清楚数据是怎么流动的:

  1. 用户: “北京天气如何?”
  2. 模型: (思考)我需要调用 get_weather,城市是“北京”。
  3. Python 函数: (执行)返回 "大晴天,25度"
  4. 模型: (加工)拿到数据,结合它的语言模型能力,扩充成:“北京今天天气非常好,是大晴天,气温约 25 度非常适合出门走走!”

还是挺有意思的,强烈建议你试一试!

总结

Ollama 让 AI 不再是遥不可及的网页链接,而是你电脑里的一个“数字员工”。你可以先从 1.5b 这种小模型玩起,等玩明白了,直接换成更强的模型,你的 Agent 能力瞬间就能进化,上限取决于你的想象力。