如果你想在自己电脑上跑 AI,又不希望数据被大厂拿走,Ollama 绝对是目前最香的选择。不用配复杂的 Python 环境,不用求爷爷告奶奶找 API Key,只要一键安装,就能实现“大模型自由”。不过我的电脑很早就有了python环境了,忘记啥时候安装的,虽然在python方面还是个菜鸟。
1. 怎么安装
直接去 Ollama 官网 下载。有1个多G,先有个心理准备。
-
第一步: 安装完后,它会躲在右下角任务栏。
-
第二步: 打开终端(CMD 或 PowerShell),输入下面的命令。这是最关键的一步,它会自动下载并启动对话。
Bash
ollama run qwen2.5:1.5b
当你看到进度条跑完,出现 >>> Send a message 时,说明 AI 已经在你硬盘里安家了。
如果不想直接启动,就用这个命令:
ollama pull qwen2.5:1.5b
2. 避坑指南(这些坑我都帮你踩过了)
- 不要在 Python 里面运行 Python: 很多人会习惯先输入
python进去,然后再敲命令。千万别!运行脚本是在普通的 CMD 路径下直接输入python test.py。 - 模型名字要写全: 代码里的
model='qwen2.5:1.5b'必须带上后缀。如果不写,它默认去找7b版本,没下载的话就会报 502 错误。
3. 高级玩法:手摸手教你写一个 Agent
普通的聊天只是“你问我答”,但 Agent(智能体) 厉害的地方在于:它能根据你的需求,自己去调用工具。
把下面的代码存成 agent_test.py:
Python
import ollama
# 1. 准备一个“假装能查天气”的工具
def get_weather(city):
return f"{city}的天气是:大晴天,25度!"
# 2. 告诉 AI 这个工具怎么用
tools = [{
'type': 'function',
'function': {
'name': 'get_weather',
'description': '查询某个城市的天气',
'parameters': {
'type': 'object',
'properties': {'city': {'type': 'string'}},
'required': ['city'],
},
}
}]
# 3. 核心逻辑
def ask_ai(prompt):
res = ollama.chat(model='qwen2.5:1.5b', messages=[{'role': 'user', 'content': prompt}], tools=tools)
if res['message'].get('tool_calls'):
# AI 自动识别出需要调用 get_weather 函数
city = res['message']['tool_calls'][0]['function']['arguments']['city']
print(f"--- 内部观察:Agent 决定调用工具查【{city}】的天气 ---")
result = get_weather(city)
final = ollama.chat(model='qwen2.5:1.5b', messages=[
{'role': 'user', 'content': prompt},
res['message'],
{'role': 'tool', 'content': result}
])
return final['message']['content']
return res['message']['content']
print(ask_ai("北京天气怎么样?"))
4. 真实运行效果
当你退出所有多余的窗口,在文件夹里输入 python agent_test.py,你会看到极其解压的一幕:
C:\Users\Admin> python agent_test.py
--- 内部观察:Agent 决定调用工具查【北京】的天气 ---
北京今天的天气非常好,是大晴天,气温约 25 度,非常适合出门走走!
注意看: 第一行输出是我在代码里写的“内部观察”,这证明了 AI 真的理解了你的话,并精准抓取了“北京”这个参数发给了 Python 函数。
实际上,我们的函数中并没有写这些回答,多出的部分内容就是大模型自己的发挥。
你可以参考这个流程,看清楚数据是怎么流动的:
- 用户: “北京天气如何?”
- 模型: (思考)我需要调用
get_weather,城市是“北京”。 - Python 函数: (执行)返回
"大晴天,25度"。 - 模型: (加工)拿到数据,结合它的语言模型能力,扩充成:“北京今天天气非常好,是大晴天,气温约 25 度,非常适合出门走走!”
还是挺有意思的,强烈建议你试一试!
总结
Ollama 让 AI 不再是遥不可及的网页链接,而是你电脑里的一个“数字员工”。你可以先从 1.5b 这种小模型玩起,等玩明白了,直接换成更强的模型,你的 Agent 能力瞬间就能进化,上限取决于你的想象力。