最近 OpenClaw 很火,因为担心安全问题,我一直没有安装。但是不得不说,AI 的编程能力越来越强,作为一名大龄后端程序员,本来就担心 35 岁危机,这下更担心了,就准备多使用使用 AI,由于公司项目是内网,想在工作上使用联网的 AI 不现实。于是准备折腾一下,离线 AI ,结果电脑实在带不起来,本文简单记录一下。
Ollama
Ollama 本质是一个推理框架,你不需要关心底层技术,只要会敲几个单词就能运行最新模型。 因为最终打算上离线的,所以找了 windows 安装包,官网直接下载实在是慢,反倒是用迅雷下载很快。
模型
由于深知自己电脑配置低 4 核 16 G,就选择了 Qwen2.5-Coder-7B 模型,模型是在 魔搭下载的,使用迅雷软件下载的,不然实在是太慢了。 模型下载好后,导入了 Ollama 中。
CodeGeeX
启动 Ollama 后,打算用 CodeGeeX 的本地模式连接上本地模型然后使用,插件上配置了连接 http://localhost:11434/v1/chat/completions 注意一定要配置模型名:qwen3-coder:7b,我的模型是命名的这个。
实际测试
我一问问题,CPU 就干到 100%,风扇呼呼的,看来这个本是真的跑模型费劲。
然后我又换了一个模型 deepseek-coder:6.7b 测试连接一点,CPU 就 100% 了,真是跑不了啊。
ClaudeCode
简单测试了一下,不行就没继续了
结论
老旧笔记本跑模型,跑不起来啊 7B 的都不行。是我哪里配置的不对吗?