我的 AR 之路
我是苹果 API 搬运工,一个专注于 iOS 平台 AR 开发的程序员,持续多年的 ARKit 神棍。一直以来,我都在盼望着苹果 AR 眼镜的发布,但 Vision Pro 发布后,却和我的预期产生了巨大偏差。 不过,调整预期后奋起直追,一口气上架了两款 App:手指运动 FingerEmoji 和植物形态生成 PlantMatrix,还顺势开源了一个手势匹配的框架:HandVector。
Apple Vision Pro 带来的冲击
2023 年 WWDC,苹果宣布了 Apple Vision Pro ,受到万众关注。但它却和我预想的不一样,我原本以为,苹果头显虽然外形与 Quest 3 不一样,但功能上本质是 Meta Quest 3 的 AR 增强版:把手机 ARKit 上的所有功能搬到头显上去,并提供更强大的性能和更稳定的体验。
事实却是,Vision Pro 提出了 空间计算 概念,故意走了一条既不同于 Quest 3 又不同于手机 AR 的路:它侧重于交互体验与显示效果,如果单论 AR 功能 Vision Pro 还不如手机 ARKit 支持功能多。
这样带来的后果就是:普通的 iPhone 和 iPad 版软件,只要稍加修改,就可以在 Vision Pro 上以兼容模式运行;但是所有用到 ARKit 的软件都必须重新设计与开发,才能在 Vision Pro 上运行,有些受限于隐私甚至压根无法运行(比如手机上使用相机画面的 AR App)。这些意料之外的变化让我措手不及,感觉多年努力被套牢在手机上,难以平滑迁移到 Vision Pro 上。
缓过神来后,我认真分析了 Vision Pro 目前的优缺点: 优点:
- 高清晰低延迟的显示效果
- 简单好用的手眼交互
- 相对完善的操作逻辑,整体感觉更接近一台电脑
缺点:
- 售价过高
- 使用不便,尤其近视用户
- FOV 小,暗光条件下透视噪点多
- 没有手柄,难以精确进行 3D 输入,对游戏不够友好
- AR 功能开放太少,不兼容手机 AR
- 全面使用 SwiftUI 和 Async/Await 框架,重新学习有一定成本
目前的诸多争议主要还是从用户角度看来,很不方便,有些不值。然而从开发者的角度看,Vision Pro 的优点非常明显,有些还是跨时代性比如手眼交互。而缺点中硬件相关的可以通过产品迭代来优化改进,软件相关可以通过 App 重新设计和 OS 生态迭代来改进。
我相信未来版本的 Vision Pro 会在以下方面进行软件、硬件改进:
- 降低售价或提供廉价款
- 自带屈光度矫正功能
- 优化透视效果,尤其是暗光条件下
- 开放更多 ARKit 功能,如 Face Tracking、 Object Tracking、Object Capture、RoomPlan 等
- 优化 3D 编辑器功能,增强 Reality Composer Pro 功能
转而开发 visionOS App 与手势匹配框架 HandVector
认真思考过后,感觉苹果提出的“空间计算”更有意义,不应该继续对手机 AR 产生路径依赖。我决定花费时间学习 SwiftUI 和 Async/Await 框架,为 Vision Pro 开发应用。
因为已经有多年的手机 ARKit 开发经验,我对 Swift + ARKit + RealityKit 都比较熟悉,但是 SwiftUI 和 Async/Await 框架给我带来了不少挫折。这里推荐下 Jane 的 ChaoCode 系列 SwiftUI 中文教程,内容较新,讲解细致,我认为是目前中文网络上最好的 SwiftUI 视频教程系列。
简单学习 SwiftUI 之后,我利用这些年积累下来的数学知识,制作了两款 App:手指运动 FingerEmoji 和植物形态生成 PlantMatrix,还开源了 FingerEmoji 使用的手势匹配框架:HandVector。
手势匹配原理:余弦相似度
在 Vision Pro 发布之初,很多人就在想象:是不是可以用手势来触发一些效果?比如像火影一样结印,触发特效。但是,visionOS 目前并没有自带这个功能,苹果的机器学习框架 CreateML 暂时也不支持 3D 的手势匹配,所以目前无法在 Vision Pro 上使用。其它第三方的 ML 与 AI 框架理论上能实现 3D 手势匹配功能,但需要自己训练与部署,费时费力且往往运行效率不高。
而余弦相似度的计算并不复杂,它的数学本质就是向量的点乘。所以,我们只需要事先“录制”一个手势,接下来将手部关节位置转化为 3D 向量,与录制好的手势向量进行点乘,得到的结果就是当前手势与录制好手势之间的相似度。
未来计划
开发过 App 之后,我认为虽然 Vision Pro 不能像 iPhone 一样在消费市场高度普及,但仍然代表了未来计算机交互的发展方向:3D 化信息显示与交互。我对改进后的 Vision Pro 下一代表示谨慎乐观,也许普通消费者目前不支持是正常现象,但开发者有一定机会。
下一步,我将围绕 HandVector 的功能,创造更多的 App,同时也将继续完善手势匹配功能。
Vision Pro 开发,我来了!