AI离线开发新体验:基于Ollama+Qwen2.5-Coder打造私有化代码助手

2,054 阅读3分钟

前言

在数据安全要求日益提高的今天,如何在不依赖云端服务的情况下获得AI编程辅助?本文将手把手教你使用开源工具搭建本地化Copilot,实现完全离线的智能代码补全。


准备工作

  1. 硬件要求
    • 推荐16GB+内存
    • NVIDIA显卡(非必须,但可提升推理速度)
  1. 软件环境
    • Windows用户必需
    • Ollama服务
    • VS Code 插件Continue - Codestral, Claude, and more

实现步骤

一、部署Ollama服务

1. 下载Ollama安装包

打开浏览器,访问 Ollama 官方网站:ollama.com/download,下载适用于 Windows 的安装程序。

下载地址为:ollama.com/download/Ol…。(可以复制下载链接用迅雷下,会快很多)

下载完成后,双击安装程序并按照提示完成安装。

推荐这么安装: 如果需要将 Ollama 安装到非默认路径,可以在安装时通过命令行指定路径,例如:

OllamaSetup.exe /DIR="D:\app\Ollama"

2. 验证安装

打开命令提示符或 PowerShell,输入以下命令验证安装是否成功:

ollama --version

如果显示版本号,则说明安装成功。

3. 更改安装路径(可选)

如果需要将 Ollama 安装到非默认路径,可以在安装时通过命令行指定路径,例如:

OllamaSetup.exe /DIR="D:\app\Ollama"

这样可以将 Ollama 安装到指定的目录。
如果已经安装了,也可以通过迁移目录,修改环境变量来更改安装路径。具体实现,可以参考这篇文章Windows下Ollama安装目录迁移到D盘


二、下载模型

可以在ollama的library库里,找适合自己到电脑配置的模型,进行下载。本人主要是为了做代码开发,有提示,所以选择了qwen2.5-coder:7b模型进行演示(还有一些不错的模型可以试试,比如deepseek-coder-v2

1基础下载命令

# 标准7B参数版本(需要8GB+显存)
ollama run qwen2.5-coder:7b

# 量化版本推荐(4-bit量化,6GB内存可运行)
ollama run qwen2.5-coder:32b

2.下载过程演示

如果速度降到几十kb,不动的,可以ctrl+c。停止下载,再从新输入下下载指令,就会恢复速度,继续下载

3.查看已下载模型

ollama list

4.运行测试对话

# 运行qwen2.5-coder模型
ollama run qwen2.5-coder:latest

输入你想实现的功能,例如:帮我用js实现一个防抖函数


三、配置VS Code插件

  1. 安装Continue插件
    • 在VS Code扩展商店搜索"Continue"并安装
  1. 修改插件配置
{
  "models": [
    {
      "title": "Qwen 2.5 Coder 7b", # title随便写
      "model": "qwen2.5-coder:latest", # 需要和模型名对应
      "provider": "ollama",
      "apiBase": "http://localhost:11434"
    }
  ],
   ...
  "tabAutocompleteModel": {
    "title": "Tab Autocomplete", # title随便写
    "provider": "ollama",
    "model": "qwen2.5-coder:latest", # 需要和模型名对应
    "apiBase": "http://localhost:11434"
  },
  ...
}

注意:model需要和ollama里的模型名称对应

如果和同事在同一局域网,可以让同事把apiBase里的ip,改完你的ip,这样子就可以共用同一个大模型了


四、实战测试

例如,让ai帮忙写个节流函数

跟多使用技巧,可以去看下Continue插件高级配置指南,也可以参考下这篇文章ollama+vscode插件continue,属于自己的copilot


结语

通过本方案,我们实现了:
✅ 完全离线的开发环境

✅ 敏感代码的本地化处理

✅ 定制化的代码补全风格

未来可尝试接入更多本地模型(如deepseek-coder-v2、CodeLlama),或结合RAG技术构建私有知识库。

个人使用感受:

使用起来,肯定不比目前主流的Cursor,GitHub Copilot、TONGYI Lingma等好用,而且比较卡,主要还受限与电脑配置与模型大小。如果不是为了离线开发环境的代码提示,和敏感代码的本地化处理,没必要搞本地部署


参考文章

Ollama 安装

Windows下Ollama安装目录迁移到D盘

ollama+vscode插件continue,属于自己的copilot