看,大象装进冰箱了!快来解锁 Chrome 内置大模型!

1,613 阅读2分钟

欢迎来到 Jax 的专栏「Web AI 进化录」,快来了解 Web 端侧智能的方方面面!

转载请联系作者 Jax。

在我上一条沸点的评论区里,有掘友提到操作教程链接打不开,于是搬运一下教程内容,让不玩微博、不上外网的掘友也可以试玩。

原文地址:docs.google.com/document/d/…

想要解锁内置在浏览器里的大模型吗?无需注册账号、无需充值,甚至无需联网,端侧智能模型随你拿捏!简单几步即可解锁,就像把大象装冰箱一样简单!

零、设备要求

  • 系统版本:

    • WIndows:≥ 10.11
    • MacOS:≥ 13 (Ventura)
  • 磁盘空间:≥ 22 GB

  • GPU:集成或独立显卡均可

  • 显存:≥ 4 GB

一、预先准备

  • 安装 Chrome 的开发版Canary 版,版本号要高于 127.0.6512.0
  • 把系统语言切换到英文
  • 把 Chrome 语言切换到英文

二、更改配置

启用 Gemini Nano 和 Prompt API

  1. 在 Chrome 新标签地址栏中访问这个地址:chrome://flags/#optimization-guide-on-device-model
  2. 在右侧下拉菜单勾选「Enabled BypassPerfRequirement」
  3. 访问 chrome://flags/#prompt-api-for-gemini-nano
  4. 在右侧下拉菜单中勾选「Enabled」
  5. 重启 Chrome
  6. 访问 chrome://components
  7. 找到「 Optimization Guide On Device Model」这一项
  8. 点击下方的「Check for update」按钮,下载模型(模型版本应高于 2024.5.21.1031)
  9. 模型下载完毕后重启 Chrome

确认 Gemini Nano 是否可用

  • 打开 Chrome DevTools
  • 在控制台粘贴并执行 await window.ai.canCreateTextSession();
  • 如果执行结果为「readily」,则表示大功告成

三、把玩内置模型

我们可以把官方提供的示例代码粘贴到控制台运行:

const canCreate = await window.ai.canCreateTextSession();

if (canCreate !== "no") {
  const session = await window.ai.createTextSession();

  const stream = session.promptStreaming("Write me an extra-long poem");
  for await (const chunk of stream) {
    console.log(chunk);
  }
}
session.destroy();

但每次都这样操作太麻烦了,所以我急速码了一个界面,让大家可以像用 ChatGPT 一样玩转内置模型:

rejax.fun/chrome-ai/p…

对话记录会被保存在 localStorage 里,接下来将会支持设置 topK 和 temperature。

四、结语

大模型终于不再是远在云端、只有厂商才能触碰得到的高枝。慢慢地,或者说很快,开发者和普通用户都可以和原生智能能力零距离接触了,用微博网友的话来形容:飞入寻常百姓家。

欢迎和我一起交流你的观察、实践、思考和问题!

我是 Jax,在畅游 Web 技术领域的第 7 年,我仍然是坚定不移的 JavaScript 迷弟,Web 开发带给我太多乐趣。如果你也喜欢 Web 技术,或者想讨论本文内容,欢迎来聊!你可以通过下列方式找到我:

掘金:juejin.cn/user/113435…

GitHub:github.com/JaxNext

微信:JaxNext