用Deepseek打造自己的私人AI助手

润曦
3,089 阅读7分钟

介绍Deepseek

DeepSeek（深度求索）是一家聚焦实现AGI的中国的人工智能公司，致力于通过突破性的技术研究让人类未来更美好。秉承“智慧求真，科技向善”的愿景，DeepSeek将持续探索大模型的技术边界，以创新驱动产业变革，让AGI技术真正赋能人类社会。Deepseek通过算法-软件-硬件的协同创新打破英伟达cuda护城河，通过技术开源推动多元硬件生态的成熟，为更低成本的构建本地大模型贡献了力量。

下载Deespseek

Ollama 是 Meta 开发的一款开源的大语言模型推理框架，同时也提供了运行部署环境。这个平台上，有各种开源的AI大模型，都是免费下载使用的。支持Mac、Linux、Windows的运行环境。 官方网址：ollama.com/

image.png

image.png

image.png

本地部署Deepseek

下载完安装成功后，程序面板出现ollama的程序logo，点击它：

image.png 运行起来后，打开命令行输入： ollama help

image.png

如果没有报错就说明安装成功。 然后，去ollama官方网站找到 DeepSeek r1模型的信息页，点此链接

image.png

这里介绍一下，模型的参数：

image.png

大模型中的数字（如1.5B、7B、8B、14B、32B、70B、671B）表示模型的参数量，单位是“十亿”（Billion）。参数量越大，模型通常越复杂，性能可能越高，但也需要更多的计算资源。以下是这些模型参数量及其适合的硬件环境的简要说明：

  • 1.5B（15亿参数）:

    • 硬件要求: 可以在单一高端GPU（如NVIDIA RTX 3090）或高性能CPU上运行，对于推理任务尤其如此。训练可能需要较长时间，但对于小规模实验或个人开发者来说可行。
    • 适合场景: 适用于单人或小团队的实验性项目或初步研究。

  • 7B（70亿参数）:

    • 硬件要求: 可以在一台高性能的单GPU（如NVIDIA RTX 3090或A100）上运行。对于推理任务，CPU也可以勉强运行，但速度较慢。
    • 适合场景: 适用于个人开发者、研究者进行小规模实验或部署在边缘设备上。

  • 8B（80亿参数）:

    • 硬件要求: 与7B类似，单GPU如RTX 3090或A100可以处理，但对于更快的训练和推理，可能需要更强的GPU或多GPU设置。
    • 适合场景: 类似于7B，但由于参数略多，可能在某些任务上性能略有提升。

  • 14B（140亿参数）:

    • 硬件要求: 需要至少一两个高性能GPU（如A100），或者多GPU环境（如多卡NVLink配置）。对于推理，一个好的GPU也可以，但训练需要更强的资源。
    • 适合场景: 适用于中等规模的企业或研究机构进行较为复杂的自然语言处理任务。

  • 32B（320亿参数）:

    • 硬件要求: 通常需要多GPU环境（如4个或更多A100），或者强大的云计算资源。推理可以在一台高端GPU上进行，但速度较慢。
    • 适合场景: 适合需要更高精度的任务，适用于大型企业或研究机构。

  • 70B（700亿参数）:

    • 硬件要求: 需要大规模的GPU集群（如8个或更多A100），或者非常强大的云计算资源。推理也需要多GPU支持。
    • 适合场景: 用于最前沿的研究或需要极高性能的生产环境。

  • 671B（6710亿参数）:

    • 硬件要求: 这几乎是超大规模模型的范畴，需要极其强大的计算资源，如超级计算机或大型分布式GPU集群。即使是推理，资源消耗也非常高。

    • 适合场景: 主要用于大规模的科学研究或企业级应用，其中模型的规模和精度是最重要的。

总结：

  • 小规模模型（1.5B、7B、8B）适用于个人或小团队的开发和测试，硬件要求相对较低。

  • 中等规模模型（14B、32B）需要更加专业的硬件，适合中型到大型团队使用。

  • 大规模模型（70B、671B）则需要大规模的计算资源，通常是大型企业或研究机构才能承担的。

在选择模型时，不仅要考虑硬件，还要考虑模型的具体应用场景、所需的精度和响应速度等因素。

由于我本地环境是M1芯片、16G内存的电脑，我选择了7B的参数模型：

image.png

具体选择哪个，根据运行环境的机器来决定，将安装运行命令copy到本地命令行环境：

image.png

本地使用Deepseek

等待安装完后，出现了“end a message”字样，说明已经成功安装，接下来，输入一段文字，试一试：

image.png

这个时候，你已经成功运行了本地大模型，接下来来试一试它的性能如何。我让他给我写了一篇万字的文稿，M1 GPU占用情况如下：

image.png

image.png

由此可见，不需要英伟达的cuda，也可以使用AI大模型了，彻底粉粹cuda护城河！！！

用更好的UI使用Deepseek

在使用本地大模型的时候，如果一直用命令行的来问答，用户体验不太好，这里介绍一些，用于AI大模型的UI

以下是常用的支持Ollama环境的AI大模型UI：

  1. Open WebUI - 这是一个开源且免费的WebUI，原名Ollama WebUI，支持多种LLM API，并且与OpenAI兼容。特别值得一提的是，它自带用户管理功能，界面简洁且支持中文。

  2. LM Studio - 虽然主要作为一个大模型部署工具，但它支持多种GPU，包括AMD和Intel的显卡，并且有用户友好的界面。

  3. Chatbox - 这是一个AI客户端应用程序和智能助手，支持许多先进的AI模型和API，可在多平台上使用，包括Windows、MacOS、Android、iOS、Web和Linux

我选择的是chatbox：

image.png

因为它更符合我的使用方式，确保ollama启动，然后在chatbox上选中即可。新建聊天对话，试一试即可：

image.png 从回答来看，已经成功用上本地DeepSeek。

用vscode使用Deepseek

除了本地UI使用DeepSeek以外，还可以集成到我们开发编辑器里面，接下来以vscode为例。vscode扩展 AI插件有很多，我比较习惯用Cody

image.png

image.png 根据截图中的配置选项，选中DeepSeek r1:7b ,这样编辑器就选好了，这样DeepSeek就可以在vscode中使用了

image.png

总结与展望

通过本地部署DeepSeek并成功集成到本地以及开发工具，从使用ollama、DeepSeek、vscode的集成，体验到了在AI时代对开发者是革命性的。开发者已实现以下突破：

  1. 环境配置 - 基于容器化技术快速部署模型，通过GPU加速实现低延迟推理；
  2. 智能编码 - 集成IDE插件实现代码补全、注释生成、API文档即时查询等功能；
  3. 流程优化 - 结合CI/CD流水线自动生成测试用例，精准识别潜在代码缺陷；
  4. 知识管理 - 构建私有化代码知识库，实现团队最佳实践的智能化沉淀。

未来AI对程序员的影响将呈现三大趋势：

  1. 生产力革命 - AI将承担超80%的模板代码编写、语法纠错等基础工作，开发者更聚焦架构设计与核心算法创新；
  2. 能力重构 - "Prompt工程"将成为必备技能，人机协作模式从"写代码"转向"训练/调试AI协作者"；
  3. 范式迁移 - 编程语言壁垒逐渐消解，自然语言需求可直接转化为可执行代码，开发流程缩短50%以上。

挑战与机遇并存：初级编码岗位可能缩减，但会催生AI训练师、智能系统架构师等新职业。掌握"AI+领域知识"双引擎的开发者，将主导下一代软件工程的进化。建议开发者：① 深耕复杂系统设计能力 ② 构建垂直领域知识护城河 ③ 掌握AI工具链的深度定制能力。

avatar
文章
阅读
粉丝