一、项目简介
名片速录官是一个跑在 Rokid Glasses 上的智能体,解决的是交换名片之后那半天里最容易漏掉的一步:名片揣进兜里,信息没录,过两天就想不起对方是谁、当时聊了什么。
手机上不是没有 OCR 应用,问题在于动作太多。掏手机、解锁、打开应用、对准、确认、存进通讯录,一串操作下来,多数人在饭局上就直接放弃了。眼镜的好处是它本来就在眼前,抬手看一眼、说一句,事情就结束了。
智能体现在做三件事:拍照识别名片并存成联系人;查看、补充备注、删除联系人;给某个联系人建一条带日期的跟进待办。主要面向销售、商务、会展这类一天要换十几张名片的人。
二、场景与用户意图
典型使用发生在展会现场或者饭局结束的时候。用户戴上眼镜,从首页滑动选中“录入名片”,单击确认,对准卡片,再单击一次拍照。后面几秒由系统完成,屏幕上依次出现“拍摄中”“识别中”,最后跳到结果卡片,用户只做一个判断:存还是不存。
这里的“意图”不是一句话解析出来的,而是把“我要记住这个人”拆成几个能在眼镜上完成的小步骤。眼镜的显示面积只有 480×352,塞不下表单,所以识别结果直接以只读卡片呈现,能改的只有备注,其余交给“取消重拍”。
第二类意图是“我下周一要给张总打电话”。这类需求不适合让用户在日历里点选,最适合说一句话。所以在新建待办页面,用户说一句自然语言,模型负责把相对日期换算成具体日期,抽取出事项内容,再让用户确认保存。
三、方案设计
页面结构
工程一共 8 个页面,走两条主线:
录入线:首页、拍照页、结果页。
管理线:联系人列表、联系人详情、待办列表、选择联系人、新建待办。
具体路径如下:
-
pages/home首页菜单 -
pages/scan拍照与识别 -
pages/result识别结果确认 -
pages/contacts联系人列表 -
pages/detail联系人详情 -
pages/todo-pick为待办选联系人 -
pages/todo-create语音创建待办 -
pages/todo-list待办列表
状态流转
拍照页用四个状态描述整条链路:ready、capturing、recognizing、error。页面所有文案和图标都由这个字段驱动,按键处理也先判断状态,比如识别中再按确认不会重复触发拍照。
能力调用关系
-
相机:
wx.media.createCameraContext()拿上下文,takePhoto()出图 -
识别:
LanguageModel.create()建会话,把图片作为image_url内容块传进去 -
语音输入:
SpeechRecognition拿到文本,备注直接追加,待办则再走一次LanguageModel做结构化抽取 -
播报:
speechSynthesis.speak()在保存成功后读一句“某某已保存” -
存储:
wx.getStorageSync/wx.setStorageSync,键名bc_contacts、bc_todos、pendingCard
数据先落本地,不上云。眼镜的使用场景网络经常不稳,联系人又属于敏感信息,把主数据放在本地是更稳的选择。模型调用只发生在识别和解析两个时刻,属于“用完就丢”的短会话。
四、AIUI 实现
项目结构
每个页面一个 .ink 文件,里面分四段:<script def> 声明这是页面、<script setup> 写数据和事件、<page> 写结构、<style> 写样式。单文件的好处是改一个交互不用在四个文件之间来回跳,代价是长页面会有点长。
app.json 里注册 8 个页面,并声明 camera 和 record_audio 权限。AGENTS.md 里写智能体的身份、能力边界、交互模式和存储约定,相当于给智能体本身一份说明书。
从快门到结构化字段
takePhoto() 返回的是编码后的 ArrayBuffer 加 mimeType,不是可直接显示的图片。转成模型能吃的 data URL 需要两步:
var res = await this._cameraCtx.takePhoto({
quality: 'high',
enableSystemPreview: false
});
var base64 = wx.arrayBufferToBase64(res.data);
var dataUrl = 'data:' + res.mimeType + ';base64,' + base64;
这里有两个决定值得说一下。
一是 enableSystemPreview: false。默认情况下拍完会弹系统预览让用户确认,多一次点击在眼镜上成本很高,名片场景又基本都是“拍一张就够”,所以直接关掉。
二是识别完不保存图片。setPendingCard 里把 base64 置成空字符串,只传六个字段。名片照片动辄几百 KB,存进 storage 既占空间又没必要,而且用户要的是信息不是照片。
提示词写得比较死,把字段名和“只返回纯 JSON”都写进 system 消息里。但模型输出永远不会百分百听话,常见的是包一层 markdown 代码块,或者在 JSON 前后加一句“以下是识别结果”。所以解析做了两层:先直接 JSON.parse,失败就用正则从文本里截出第一个花括号块再试一次。
字段名也做了别名映射,mobile、tel、phone_number 都归到 phone,position、job 归到 title。这类小兼容能让识别成功率明显好看一些,因为不同模型对中文字段的翻译习惯不一样。
超时与竞态
拍照和识别各挂一个 30 秒定时器。超时后不是简单改个状态就完了,还要防止原来的异步任务在超时之后回来把界面覆盖掉。做法是一个 _recognizeAborted 标记:超时回调里置 true 并销毁会话,成功和失败回调进入时先检查这个标记,是 true 就直接返回。
同时在 onUnload 里清定时器、销毁模型会话、中断语音识别。眼镜上页面切换很频繁,漏掉一次清理,下次进来就可能拿到一个已经死掉的会话。
眼镜按键的处理
这是整个项目里最花时间的一部分。眼镜的输入只有三种:上下滑动、单击、双击。
页面通过 onKeyDown 和 onKeyUp 接收按键,event.code 是 ArrowUp、ArrowDown、Enter、Backspace。实际调试发现两个问题。
第一,刚进页面时手还停在触摸板上,很容易带进一次滑动。解决办法是 onLoad 和 onShow 记一个时间戳 _armedAt,800 毫秒内的按键全部丢弃。代价是进页面后要等不到一秒,但比误选中第一项要好。
第二,一次滑动会上报两个键码。往上滑同时来 ArrowUp 和 ArrowLeft,往下滑同时来 ArrowDown 和 ArrowRight。如果不处理,光标会一次跳两格。处理方式是按方向归一,同一方向在 200 毫秒内只认第一次:
_isAlias(dir) {
var now = Date.now();
if (dir === this._lastDirCode && now - this._lastDirTime < 200) {
return true;
}
this._lastDirCode = dir;
this._lastDirTime = now;
return false;
}
另外没有用系统的焦点机制,而是每页自己维护 selectedIdx,用 setData 更新,模板里靠 selectedIdx === index 判断高亮。这样跨页面跳转、列表增删之后的位置都可控,不用关心焦点跑到哪里去了。
列表滚动
待办列表有一项“新建待办”是常驻在列表末尾的,所以选中项的总数是 todos.length + 1。滑动到屏幕外的条目时,需要让滚动容器跟上:
<scroll-view scroll-y="true" scroll-into-view="{{scrollIntoView}}">
<view ink:for="{{todos}}" id="todo-{{index}}">
每次移动同时更新 selectedIdx 和 scrollIntoView,值写成 todo- 加索引。这个写法比算偏移量省事,也不会因为条目高度变化而错位。
语音待办
新建待办页的入口按钮会根据状态变语义:内容是空的,点它就是开始录音;内容已经有了解析结果,点它就是保存。这样按钮只有一个,用户的动作也只有一个。
录音结束后把文本交给模型,提示词里带一句“当前日期是 2026-11-14”,要求返回 date 和 task 两个字段。解析失败或者模型不可用时不阻断流程,直接把原始文本当成事项内容,日期留空,保存时补当天日期。宁可存一条粗糙的待办,也不要让用户白说一遍。
五、交互与体验
界面统一用黑底加荧光绿,绿色按透明度分几档表示层级:主信息接近不透明,次要信息 0.72,辅助 0.48,分隔线 0.24。AR 显示是叠加在真实环境上的,背景不能铺满,颜色太亮会盖住前面的东西。
选中态没有用整块背景填充,而是外面加一圈 2px 描边,里面加一层 12% 的底色。整块高亮在眼镜上看起来太重,而且和内容抢视觉。描边的实现是把一个绝对定位的空 view 盖在卡片上,内容层 z-index: 1。
每页底部固定一行“滑动选择 单击确认 双击返回”。这句话看起来是废话,但眼镜的新用户第一次戴上去确实不知道该往哪摸,有这行字能省掉很多试错。
删除联系人做了二次确认,覆盖在详情页底部,默认选中“取消”。误删在这个场景里很难补救,多一步是值得的。
返回栈用 navigateBack 的 delta 处理。比如结果页无论是保存还是取消,都要退回首页,因为拍照页已经没用了,这时传 delta: 2 一次弹两层,比先回拍照页再回首页自然。
六、调试与验证
开发主要在 AIUI Studio 里预览,页面结构和样式改完刷新就能看到,省掉了反复装包。涉及相机、按键和模型的部分必须上真机,模拟器给不了真实的按键节奏和光照条件。
真机验证的清单大概是这几条:
-
首次进入时相机权限是否正常申请
-
从任意页面返回后再次进入,按键是否还有响应
-
一次滑动是否只移动一格
-
断网或者模型不可用时,页面是否给出可重试的错误提示
-
连续保存 20 个联系人后,列表和存储是否正常
-
拍照中途按返回,定时器和会话是否被清理
遇到的问题里,比较典型的是三个:
模型返回的内容带 markdown 代码块,第一次跑就解析失败,于是补了正则兜底;识别中按返回,超时回调仍然会 setData,界面被拉回错误态,于是加了 aborted 标记;待办列表滑动到第四项之后看不见选中项,补了 scroll-into-view。
另外,名片属于偏“阅读型”的拍摄,官方文档里这类场景建议用 telephoto 模式,出图是 2016×1512 的横向画面,主体更清楚。当前版本用的是默认模式,后续准备对比一下两种模式下小字名片的识别准确率再定。
七、成果与复盘
目前完成的功能:拍照识别名片并保存联系人,联系人列表与详情,备注语音录入,联系人删除,语音创建带日期的待办,待办完成与删除,保存和创建后的语音播报。
还没做好的地方也说清楚。
语音备注只能往后追加,不能修改姓名、电话这些字段。识别错了只能取消重拍,这是目前最大的短板,下一步想做成“选中字段后说一句覆盖”。
联系人列表还没有做滚动跟随,超过五个人之后选中项会跑出屏幕。待办也没有真正的提醒能力,只是个列表,要配合系统通知才完整。
名片识别质量受光照和拍摄角度影响比较明显,逆光和反光的情况下错字不少。这一块除了换拍摄模式,还需要在提示词里给模型一些纠错约束,比如手机号一定是 11 位、邮箱一定带 @。
再往后想加两件事:一是今日待办的 Widget,锁屏状态下不用进应用就能看到;二是同一张名片重复扫描时给出合并提示,现在会产生两条重复联系人。