告别云端!用 Ollama 和 Chatbox 在本地运行 DeepSeek 模型,打造你的 AI 小秘书!🚀

1,440 阅读6分钟

引言

哈喽,各位未来程序猿/媛们!👋 我是你们的AI探索小助手,今天给大家分享一个超酷的玩法:告别动不动就联网的AI,直接在咱们自己的电脑上养一个AI小秘书!听起来是不是有点科幻?其实一点也不难,只需要两个神器——Ollama 和 Chatbox,就能搞定!

想象一下,以后写代码遇到bug,直接问本地的AI,不用担心隐私泄露,也不用担心网络不稳定,是不是很爽?😎

准备工作:磨刀不误砍柴工

在开始之前,我们需要准备好“砍柴”的工具:

  1. 你的电脑:一台装有 Windows, macOS, 或者 Linux 的电脑,最好是配置稍微好一点的,毕竟跑大模型还是需要点硬件支持的。
  2. Ollama: 这个是咱们本地运行大模型的“发动机”,负责把模型跑起来。
  3. Chatbox: 这是一个用户友好的界面,让我们可以像聊天一样和本地大模型互动,告别黑漆漆的命令行。

第一步:给电脑装上“发动机”——Ollama

首先,我们得把 Ollama 下载到电脑上。打开浏览器,访问 Ollama官网,你会看到一个简洁的页面,上面有 macOS、Linux 和 Windows 三个系统的下载选项。

屏幕截图 2025-02-05 234955.png

注意事项:

  • Ollama 目前对 Windows 的支持还比较新,所以确保你的 Windows 系统是 Windows 10 或更高版本
  • 安装过程很简单,基本就是一路“下一步”,按照提示操作就行。

安装完成后,打开命令行终端(Windows 上是 CMD 或者 PowerShell,macOS 和 Linux 上是 Terminal),输入 ollama --version,如果能看到 Ollama 的版本号,就说明安装成功了!🎉

小知识点: 命令行终端是啥?  简单来说,它就像一个可以和电脑“对话”的窗口,你可以输入一些命令,让电脑帮你做一些事情。

第二步:挑选你的AI“宠物”——下载模型

Ollama 本身不带任何 AI 模型,我们需要自己下载。你可以把它想象成一个“模型仓库”,里面有各种各样的 AI 模型,你可以根据自己的需求选择下载。

我们以 deepseek-r1 这个模型为例(这个模型在图片里出现了哦!)。它是一个推理能力不错的模型,而且体积适中,适合在本地运行。

屏幕截图 2025-02-05 235221.png

在命令行终端输入以下命令:

ollama run deepseek-r1:7b

命令解析:

  • ollama run:这是 Ollama 的命令,表示运行一个模型。
  • deepseek-r1:这是模型的名字。
  • :7b:这表示模型的版本,这里选择的是 70亿参数的版本。模型越大,性能通常越好,但对硬件的要求也越高。

温馨提示:

  • 第一次运行这个命令时,Ollama 会自动下载模型文件,这个过程可能需要一段时间,取决于你的网速。
  • 下载完成后,Ollama 会启动模型,并进入一个交互式的聊天界面。你可以直接在终端里和模型对话!
  • 如果你想了解更多关于 deepseek-r1 的信息,可以在网上搜索它的名字,或者查看模型的 GitHub 仓库。

第三步:给AI小秘书穿上“漂亮衣服”——安装并配置 Chatbox

虽然可以直接在命令行和 Ollama 互动,但那种黑漆漆的界面实在是不友好。所以,我们需要给我们的 AI 小秘书穿上一件“漂亮衣服”—— Chatbox

打开浏览器,访问 Chatbox官网,你会看到一个醒目的下载按钮。根据你的操作系统选择对应的版本下载并安装。

屏幕截图 2025-02-05 235157.png

Chatbox 的配置:

  1. 打开 Chatbox,你会看到一个设置界面。

  2. 在“模型提供方”下拉菜单中,选择 “Ollama API”。

  3. 在“API 域名”中,填入 http://127.0.0.1:11434。这个地址是 Ollama 默认的 API 地址。

  4. 在“模型”下拉菜单中,选择你刚刚下载的模型,也就是 deepseek-r1:7b

  5. 根据你的喜好,调整“上下文的消息数量上限”和“严肃与想象(Temperature)”这两个参数。

    • 上下文的消息数量上限:这个参数决定了 Chatbox 记住多少轮对话。设置得越大,AI 就越能理解你的上下文,但也会占用更多的内存。
    • 严肃与想象(Temperature) :这个参数控制 AI 的“创造力”。值越高,AI 就越倾向于生成随机和新颖的回答;值越低,AI 就越倾向于生成保守和符合逻辑的回答。
  6. 点击“保存”按钮。

屏幕截图 2025-02-05 235251.png

配置完成!  🎉 你现在可以开始和你的本地 AI 小秘书聊天啦!在 Chatbox 的聊天框里输入你的问题,它会快速地给出答案。

第四步:尽情调戏你的AI小秘书!

现在,你可以尽情地调戏你的AI小秘书了!你可以问它各种各样的问题,比如:

  • “帮我写一段 Python 代码,实现快速排序算法。”
  • “解释一下什么是区块链技术。”
  • “给我讲一个笑话。”
  • “用五句话概括一下《红楼梦》的故事。”

你会发现,你的AI小秘书真的很聪明,它可以帮你解决各种各样的问题,而且速度很快,不用担心网络延迟!

image.png

总结:本地AI,未来可期!

通过 Ollama 和 Chatbox,我们成功地在本地搭建了一个强大的 AI 小秘书。这不仅可以保护我们的隐私,还可以让我们更自由地探索 AI 的可能性。

作为一名大三的学生,我相信你一定对 AI 技术充满热情。希望这篇文章能帮助你入门本地 AI,开启你的 AI 探索之旅!🚀

最后的温馨提示:

  • 本地运行大模型需要一定的硬件资源,如果你的电脑配置不够高,可能会出现卡顿或者运行缓慢的情况。
  • Ollama 和 Chatbox 都在不断地更新和完善,如果你在使用过程中遇到问题,可以查看官方文档或者在网上搜索解决方案。
  • AI 模型有很多种,你可以尝试不同的模型,找到最适合自己的。

希望你玩得开心!🥳

20200229174423_bzukt.jpg