如何使用 Chrome 内置 AI 模块

CaveShao
682 阅读3分钟

Google 在 Chrome 最新的 127 开发者版本中，直接本地嵌入其最先进的 Gemini 模型。

这个模型一方面完全免费、无限制使用，另一方面支持离线运行，摆脱网络依赖，并且功能丰富涵盖图像识别、自然语言处理、智能推荐等。控制台命令行就可以调用，对前端使用来说十分便利。

想要体验这个功能，可以按以下步骤进行：

1、 从这个地址 www.google.com/chrome/dev/ 下载最新的开发者版本。

2、 下载安装完成后，首先登录 Google 账号，输入 chrome://flags/ ，搜索 Prompt API for Gemini Nano，右侧开关变为 Enabled，搜索 Enables optimization guide on device，选择 Enabled BypassPerfRequirement，最后重启浏览器。 image.png

3、 设置完成后，浏览器会自动去下载设备模型和所需要的组件，在地址栏中输入：chrome://components/ ，找到 Optimization Guide On Device Model，检查更新，查看模型的下载状态。

如果你没看到这选项，可以等几分钟后再打开这页面检查。还是没看到的话，可以尝试浏览器语言改成English US，然后在 chrome://flags/ 页面 reset all 并重新按上方步骤设置，最后重启浏览器。

因为目前测试版不稳定，如果还是看不到模型下载，可以尝试重启电脑以及检查上网工具的 ip，是不是被禁止下载（目前测试 HK 不可以，最好是 US 节点）。此外该模型要求 22G 存储空间，以及 4G 显存。

4、 最后在控制台输入 :

await window.ai.canCreateTextSession()

得到结果 readily 就表明 Gemini Nano 可以使用了。可以通过 chromeai.org/#google_vig… 的可视化界面使用这个本地模型，也可以通过 window.ai 自己写界面或者用下方的示例程序尝试调用。

async function testGeminiNano() {
  try {
    if (!window.ai) throw new Error("AI API not supported.");
    if ((await window.ai.canCreateTextSession()) !== "readily") {
      throw new Error("Gemini Nano not ready yet.");
    }
    console.log("Gemini Nano is ready to use!");
    const session = await window.ai.createTextSession();
    const stream = session.promptStreaming("Tell me a jok!");
    for await (const chunk of stream) {
      console.log(chunk); 
    }
    session.destroy();
  } catch (err) {
    console.error(err.message);
  }
}

testGeminiNano();

总结

相较于在线模型，chrome 本地模型有一定的优势：

  1. 处理敏感数据：设备端 AI 可以更好地保护隐私。例如敏感数据，可以通过端到端加密为用户提供安全的 AI 功能。
  2. 提高用户体验：在某些情况下，无需往返于服务器，意味着您可以提供近乎即时的结果。提高了应用端的交互流畅程度。
  3. 更便捷的开发：开发者只需开发界面脚本，就能提供一个可用的 AI 工具，降低了开发门槛，有利于更丰富的 ai 生态的发展。

同样，本地模型也有相应的缺点。初步体验，由于目前模型较小，相较于 gpt 等在线的大模型明显能力不足，尤其是中文回答常常漏洞百出。但是如果模型太大，本地设备限制又会是一个难题。不过随着后续版本的迭代优化，希望这种本地模型能在性能限制中有一定的可用性。

avatar
文章
阅读
粉丝