【自定义】基于 Ollama 和 Cherry Studio 的大模型接入

161 阅读5分钟

🗨️ 文章背景

为啥会有 AI 技术和 AI 技术的发展呢?

  1. 技术突破:近年来,深度学习、自然语言处理、计算机视觉等 AI 技术取得了重大突破。这些技术依赖于大量的数据和强大的计算能力,而近年来云计算、大数据、人工智能芯片等技术的发展为 AI 的快速发展和普及提供了基础。
  2. 数据驱动:随着互联网和物联网的快速发展,数据量呈爆炸式增长。这些数据为 AI 提供了丰富的训练素材,使得 AI 模型能够不断学习和优化,提高准确性和泛化能力。
  3. 算法进步:深度学习等算法的进步使得 AI 在图像识别、语音识别、自然语言处理等领域取得了显著成果。这些算法的优化和改进为 AI 的广泛应用奠定了基础。
  4. 应用需求:随着 AI 技术的成熟,越来越多的行业和企业开始关注 AI 在生产、管理、服务等方面的应用。这些应用需求推动了 AI 技术的进一步发展。
  5. 政策支持:各国政府和企业对 AI 技术给予了高度重视,出台了一系列政策支持和鼓励 AI 技术的发展。例如,美国、中国、欧盟等国家和地区都制定了相应的 AI 发展战略和政策。
  6. 资本投入:AI 技术的发展吸引了大量的资本投入。这些资本推动了 AI 企业的快速发展,加速了 AI 技术的产业化进程。
  7. 人才培养:随着 AI 技术的发展,对相关人才的需求也越来越大。各国政府和企业纷纷加大人才培养力度,为 AI 技术的发展提供了人才保障。

AI 技术的特点!

从 2023 年接触 AI 以来:

  • AI 技术一直在不断地完善
  • 各大厂商都在推出格式各样的大模型 (比如 chatgpt, 千问,豆包 ...)
  • AI 随着互联网+逐渐渗透到我们的生活中

AI 技术正在持续,高效不可逆的生长着!

拥抱变化,适应节奏

在日常的生活和工作中,我们要让 AI 成为我们的【好朋友】!

AI 可以简洁,高效地完成我们重复的工作,甚至是不清晰的领域工作。

😥 为什么要在本地接入呢,直接使用不香吗?

有以下几个原因,我们可能需要在本地接入 AI 大模型:

1. 数据隐私和安全

将数据上传到云端进行处理可能会涉及到数据隐私和安全的问题。本地接入 AI 大模型可以确保数据在本地处理,从而避免数据泄露和隐私侵犯的风险。

2. 网络延迟和稳定性

在某些应用场景中,如工业自动化、远程医疗和实时决策支持系统,网络延迟和稳定性至关重要。本地接入 AI 大模型可以减少对远程服务的依赖,提高系统的响应速度和可靠性。

3. 资源限制

对于一些资源受限的环境,如边缘设备、移动设备或物联网设备,云端计算可能不可行。本地接入 AI 大模型可以充分利用本地计算资源,降低成本并提高效率。

4. 定制化需求:

不同的行业和应用场景可能需要特定的 AI 模型。本地接入 AI 大模型可以支持模型的定制化开发,满足特定需求。

5. 合规性要求

某些行业和地区对数据存储和处理有严格的合规性要求。本地接入 AI 大模型可以确保数据处理的合规性,避免法律风险。

6. 成本效益

本地接入 AI 大模型可以减少对云服务的依赖,降低长期运营成本。同时,通过优化本地计算资源的使用,可以进一步提高成本效益。

7. 技术发展

随着硬件技术的进步,如 GPU、TPU 等专用计算设备的普及,以及软件技术的优化,本地接入 AI 大模型在性能和成本上都有了显著提升。

8. 自主可控

本地接入 AI 大模型有助于实现技术自主可控,减少对外部技术的依赖,提高系统的稳定性和可靠性。

🤔 教练,我想在本地运行 - 需要做什么呢?

1. 安装 ollama

打开 ollama 官网,点击下载 (选择自己的操作系统)

下载完成后,可以运行 ollama -h 查看 ollama 是否安装成功 (如果有提示则说明已经安装成功了)

2. 在本地中安装大模型

这里以 deepseek-r1 为例

# 具体以搜索结果为准 
ollama run qwen3

# 下载速度取决于网速,不过一般都比较慢 

3. 安装大模型运行的软件

这里我们使用 cherry studio

www.cherry-ai.com/download

4. 配置本地的大模型

在 cherry studio 中选择本地的大模型配置上去:

5. 选择智能体 (小助手)

产品经理为例:

6. 将本地的大模型加载进去

🖇️ 直接访问,大功告成!

先搜索 🔎

再复制