如何在您的 PC 和 Mac 上本地运行类似 ChatGPT 的 LLM

531 阅读3分钟

目前市场上有多种 AI 播放器,包括 ChatGPT、 Google Bard、 Bing AI Chat 等等。然而,所有这些都需要您有互联网连接才能与人工智能交互。如果您想在计算机上安装类似的大型语言模型 (LLM) 并在本地使用,该怎么办?您可以在没有互联网连接的情况下私​​下使用的人工智能聊天机器人。好吧,借助 LM Studio 和 GPT4All 等新的 GUI 桌面应用程序,您可以毫不费力地在计算机上离线运行类似 ChatGPT 的 LLM。

在 PC 和 Mac 上使用 LM Studio 运行本地 LLM

  1. 首先,从这里下载适用于您的 PC 或 Mac 的LM Studio。

  1. 接下来,运行安装文件,LM Studio 将打开。

  1. 接下来,转到“搜索”选项卡并找到您要安装的LLM 。您可以从我们的列表中找到最好的开源人工智能模型。您还可以从HuggingFaceAlpacaEval排行榜探索更多模型。

  1. 我正在下载带有 13B 参数的Vicuna 模型。根据您的计算机资源,您可以下载功能更强大的模型。您还可以下载特定于编码的模型,例如 StarCoder 和 WizardCoder。

  1. 安装LLM模型后,移至左侧菜单中的 “聊天”选项卡。

  2. 在这里,单击“选择要加载的模型”并选择您已下载的模型。

  1. 现在,您可以使用本地计算机资源立即开始与 AI 模型聊天。您的所有聊天都是私人的,您也可以在离线模式下使用 LM Studio。

  1. 完成后,您可以单击“弹出模型”,这将从 RAM 中卸载模型。

  1. 您还可以移至“模型”选项卡并管理所有下载的模型。这就是您在计算机上本地运行类似 ChatGPT 的 LLM 的方法。

使用 GPT4All 在 PC、Mac 和 Linux 上运行本地 LLM

GPT4All 是另一个桌面 GUI 应用程序,可让您以私密方式在计算机上本地运行类似 ChatGPT 的 LLM。GPT4All 最好的部分是它甚至不需要专用 GPU,您还可以上传文档以在本地训练模型。无需 API 或编码。太棒了,对吧?那么让我们继续了解如何在本地使用 GPT4All。

  1. 继续从这里下载 GPT4All。它支持 Windows、macOS 和 Ubuntu 平台。

  1. 接下来,运行安装程序,它将在安装过程中下载一些附加软件包。

  2. 之后,根据您的计算机资源下载其中一种模型。您必须拥有至少 8GB 的​​ RAM 才能使用任何 AI 模型。

  1. 现在,您可以开始聊天了。由于内存不足,我遇到了一些性能问题,GPT4All 中途停止工作。然而,如果你有一台配置强大的计算机,它会工作得更好。

编者注:本指南之前包含了在 PC 上离线设置 LLaMA 和 Alpaca 的分步过程,但我们包含了一个相当繁琐的过程。我们上面建议的工具简化了这个过程。