欢迎来到 Jax 的专栏「Web AI 进化录」,快来了解 Web 端侧智能的方方面面!
转载请联系作者 Jax。
在我上一条沸点的评论区里,有掘友提到操作教程链接打不开,于是搬运一下教程内容,让不玩微博、不上外网的掘友也可以试玩。
想要解锁内置在浏览器里的大模型吗?无需注册账号、无需充值,甚至无需联网,端侧智能模型随你拿捏!简单几步即可解锁,就像把大象装冰箱一样简单!
零、设备要求
-
系统版本:
- WIndows:≥ 10.11
- MacOS:≥ 13 (Ventura)
-
磁盘空间:≥ 22 GB
-
GPU:集成或独立显卡均可
-
显存:≥ 4 GB
一、预先准备
二、更改配置
启用 Gemini Nano 和 Prompt API
- 在 Chrome 新标签地址栏中访问这个地址:
chrome://flags/#optimization-guide-on-device-model
- 在右侧下拉菜单勾选「Enabled BypassPerfRequirement」
- 访问
chrome://flags/#prompt-api-for-gemini-nano
- 在右侧下拉菜单中勾选「Enabled」
- 重启 Chrome
- 访问
chrome://components
- 找到「 Optimization Guide On Device Model」这一项
- 点击下方的「Check for update」按钮,下载模型(模型版本应高于 2024.5.21.1031)
- 模型下载完毕后重启 Chrome
确认 Gemini Nano 是否可用
- 打开 Chrome DevTools
- 在控制台粘贴并执行
await window.ai.canCreateTextSession();
- 如果执行结果为「readily」,则表示大功告成
三、把玩内置模型
我们可以把官方提供的示例代码粘贴到控制台运行:
const canCreate = await window.ai.canCreateTextSession();
if (canCreate !== "no") {
const session = await window.ai.createTextSession();
const stream = session.promptStreaming("Write me an extra-long poem");
for await (const chunk of stream) {
console.log(chunk);
}
}
session.destroy();
但每次都这样操作太麻烦了,所以我急速码了一个界面,让大家可以像用 ChatGPT 一样玩转内置模型:
对话记录会被保存在 localStorage 里,接下来将会支持设置 topK 和 temperature。
四、结语
大模型终于不再是远在云端、只有厂商才能触碰得到的高枝。慢慢地,或者说很快,开发者和普通用户都可以和原生智能能力零距离接触了,用微博网友的话来形容:飞入寻常百姓家。
欢迎和我一起交流你的观察、实践、思考和问题!
我是 Jax,在畅游 Web 技术领域的第 7 年,我仍然是坚定不移的 JavaScript 迷弟,Web 开发带给我太多乐趣。如果你也喜欢 Web 技术,或者想讨论本文内容,欢迎来聊!你可以通过下列方式找到我:
GitHub:github.com/JaxNext
微信:JaxNext