完全离线的本地AI助手:Sidekick,本地运行、数据安全、多功能一体!

454 阅读4分钟

在 AI 助手层出不穷的今天,核心能力已经都大同小异,反而其隐私和离线能力成为了许多用户的核心需求。

主要原因还是大多数 AI 助手都依赖云端计算,数据安全始终是个隐忧。再就是如果能在无网离线状态下也可以无缝使用 AI 工具,能够更好地覆盖更多实际的用户使用场景。

今天为大家推荐一款可以在 Mac 上完全离线运行的开源 AI 助手:Sidekick

图片

它基于 llama.cpp 构建,无需额外软件即可运行,所有数据和对话都留在本地,确保了极高的隐私性。

允许用户与本地 LLM 进行交互,并能够从本地文件、文件夹和网站获取信息,确保数据安全不泄露。

同时结合了知识检索、代码解释、图像生成、LaTeX 渲染、数据可视化等强大功能,在离线环境下提供媲美云端 AI 助手的体验,真正实现 高效、安全、个性化的 AI 交互。

图片

核心功能

  • 本地知识检索:可从文件、文件夹和本地网站提取信息,作为对话的上下文。同时支持AI专家模式,适配不同领域的任务。

  • 推理模型支持:支持QwQ-32B、DeepSeek-R1等开源模型。

  • 内置代码解释器:集成 Python 解释器,可执行 Python 代码、解析数学表达式,提高 LLM 在逻辑推理、数据分析等任务上的表现。

  • 支持文生图:它并没有图像生成模式。但内置的CoreML模型能自动识别图像生成提示词,并在必要时生成图像。

  • 内联写作助手:按 Command + Control + I 即可快速访问 Sidekick 的内联写作助手,进行智能改写、润色、摘要等操作。

  • 多格式渲染与导出:支持 Markdown 和 LaTeX 渲染,一键导出对话为文件,方便分享或存档。

功能截图

RAG 增强,AI专家激活(下图计算机科学专家)

图片

使用网络搜索来回应最新的信息,从而加快研究速度

图片

使用代码解释器来增强模型的数学和逻辑能力

图片

使用Canvas创建、编辑和预览网站、代码和其他文本内容。

图片

选择文本的部分,然后提示聊天机器人进行选择性编辑

图片

根据文本生成图像

图片

内联写作助手。例如,使用 Answer Question 命令在 Microsoft Word 中完成作业

图片

数学方程的本地 LaTeX 渲染

图片

数据可视化

图片

代码语法高亮

图片

工具箱-图表绘制器

图片

图片

工具箱-幻灯片

图片

快速使用

Sidekick 的安装和使用过程简单,专为 Mac 用户优化。

安装步骤:

1、前往项目Release页面,下载最新 .dmg 文件
2、打开 .dmg,将 Sidekick 拖入“应用程序”文件夹。
3、启动后,Sidekick 会引导下载本地模型(如 LLaMA 或 Gemma)。

图片

可选:添加 OpenAI API 密钥以使用远程模型。

使用方法:

  • • 添加知识源:拖入文件或文件夹,或输入本地网站 URL。

  • • 创建专家:在设置中定义专业领域并关联资源。

  • • 开始对话:输入问题,Sidekick 会基于本地数据回答。

  • • 生成图像或代码:描述需求,自动生成并展示。

更多高级用法(如调整模型参数)可参考 GitHub 文档,几分钟即可上手。

适用场景

  • 本地知识管理:基于本地文件、网站内容提供 AI 知识问答

  • 代码开发:内置代码解释器,支持代码高亮 & 运行

  • 论文与文档写作:LaTeX 渲染,AI 续写,优化写作质量

  • AI 绘图:文本生成图像,支持数据可视化

  • 数据隐私:完全离线运行,保证数据安全

写在最后

Sidekick 以其完全离线运行、多功能集成和对 Mac 的优化,成为本地 AI 助手中的一匹黑马。

对于注重隐私的专业用户,其离线特性避免敏感数据外泄;对开发者,开源协议允许自由定制功能模块。

如果你希望拥有一款完全离线、安全可控、功能强大 的 AI 助手,Sidekick 无疑是你的最佳选择之一。它不仅能与你的本地知识库无缝结合,还能大幅提升代码、写作、数据分析等工作的效率。

GitHub 项目地址:github.com/johnbean393…