说明
苹果一直在 AR 方面布局,CEO 库克也不断发声,说重视 AR。ARKit 如今已经出到 ARKit 4,苹果在国内也谋求与其他企业合作推出手机 AR 产品,可惜并不成功。至今都处于鸡肋状态,今年动静也小了许多。
那苹果究竟在 AR 上做了哪些努力,还有哪些地方不完善呢? AR 眼镜又会是什么样子呢?我在以前的文章中,也给出过预测,现在看来大部分还是过于乐观,主要是底层技术和硬件发展,并不像其他显示层面 UI 更新一样快。
苹果在AR VR领域的现状与预测----写于 2017 年
苹果在AR VR领域的现状与预测再谈----写于 2018 年
苹果 AR 战略发展猜想----写于 2019 年
收购与专利
苹果收购的技术平均在 23 年后应用到iPhone/iPad上,一般不超过 4 年。
苹果的专利从申请到真正用在产品上,时间往往更长,往往需要45年,甚至长达7年以上.
苹果公司收购列表
苹果公司专利查询网站
苹果公司ARVR相关专利列表
软硬件与基础功能
从软件硬件的角度讲,苹果目前已经基本用上了所有的手段,来给 AR 做准备,我们来简单列举一下:
- 单目深度估计:这个是 ARKit 的基本功能,主要利用 VIO 来完成,即摄像头+陀螺仪;
- 双目深度估计:从 iPhone7 plus 开始,后置用上了双摄,虽然并不是同样规格摄像头,但苹果依然用它们实现了双目深度估计;
- 原深感镜头:从 iPhoneX 开始,集成于被人诟病的刘海中,精度很高,只是距离小了点。iPhone 12系列已经全部保留刘海了,带有原深感镜头;
- ToF 镜头:从 2020 款 iPad Pro 开始,后置也支持了 LiDAR,可以在黑暗环境下识别,另外物体遮挡关系也更真实了,今年 iPhone 12 Pro 系列也支持了 LiDAR;
- GPS 融合:2020 年的 ARKit 4 已经支持了地理锚点,但是现在只开放了少数几个城市的点位,今年的 iPhone 也正式支持了北斗定位,去年的 iPhone 11 中疑似被软件屏蔽,今年也可以正常使用了;
- UWB 定位:从 iPhone 11 系列开始支持了超宽频芯片,但是目前在 AR 中无实际应用。从 2020 年起的大部分产品都支持了 UWB 定位技术:Apple Watch, HomePod mini, iPhone 12 系列;
- 空间音频:Airpods pro 已经支持了空间音频功能,但是貌似目前只是根据内置陀螺仪进行立体声的反向旋转,如果与 UWB 技术融合,可以实际真正的 6 自由度虚拟音频。HomePod mini 在这方面也进行了尝试,并正式提出了**计算音频(Computational audio)**的概念;
- NPU 识别场景:实际整个 ARKit 从图像采集到场景追踪匹配都用到了 ML 技术,硬件上就是 NPU 部分,不仅如此,现在还可以利用 NPU 来识别人体、家具、窗户、墙壁等。今年 A14 芯片升级的一大亮点就是 NPU 部分的升级,达到了翻倍效果。WWDC 20上,苹果也对 Vision 框架和 CreateML 框架进行了大量更新,以更好支持 ML 技术;
- 网络通讯:目前可以利用 Multipeer Connectivity 框架来与周围手机通讯,共享 AR 信息,Wifi 6 支持;
- AR 工具:新的开发工具 RealityKit 框架,编辑工具 RealityComposer,格式转化工具 RealityConvert,都已经完成更新。
从今年 iPhone 12 系列更新来看,今年主要方向是更好的镜头和 NPU,这两者对 AR 体验都有直接作用,另外对 AR 有影响的还有 LiDAR 加入和 U1 芯片普及,另外空间音频/计算音频也对 AR 有帮助。
目前为实现 AR 效果,能想到的软件硬件方面,苹果已经都做了准备,AR 的准备工作已经基本完成。虽然未来需要优化的地方还有很多,但是布局已经完成,还能更新的技术方向已经不多了,剩下的基本就等 AR 眼镜推出了。
未来有可能增加/增强的有:
- TrueDepth+LiDAR:目前的前置TrueDepth,后置LiDAR,可能以后后置会同时有TrueDepth+LiDAR;
- 陀螺仪增强:目前的陀螺仪和罗盘精度并不太高,仍有提高空间;
- 远红外热感应:感知热量和温度,更好识别不同物体;
未来与 AR 眼镜
关于苹果为什么迟迟不打出 AR 眼镜,现在有几种说法比较流行:
-
- 技术上还没准备好,主要指硬件方面,遇到了巨大困难;
-
- 用户体验还没打磨好,苹果不想重蹈第一代 Apple Watch 的复辙;
-
- iPhone 潜力还未充分发挥完,指盈利方面 iPhone 利润很大,不想突然推出新产品争夺利润;
-
- 本来准备在今年 iPhone 新产品发布会推出,受疫情影响,临时取消 One more thing;
我个人认为,硬件的困难是一直存在的,毕竟直到今年才算初步完成 AR 技术方面的布局,所以第一条原因只对以前有效,到今年已经基本不存在了;
目前,最主要还是第二条, AR 中全新的用户体验仍需要调整优化,必须足够简单稳定,才能吸引大量用户向 AR 眼镜转移;
至于第三条,基本是不存在的,因为很明显前几代的 AR 眼镜无法脱离 iPhone 使用。所以,推出 AR 眼镜不仅不会挤占 iPhone 销量,还会更好带动最新款iPhone 的销量;
第四条似乎有点道理,但是如果苹果真的是把 AR 当做下一个时代的新平台来做的话,是不可能把重量级的 AR 眼镜当做One more thing来发布的。更何况今年重点已经公布了,是向Apple Silicon转移,同时推出多个重点新产品,恐怕无法兼顾。
现在关于苹果 AR 眼镜的传言已经很多了,我根据各方面的消息,加上自己的理解,也来说一下这个传说中的眼镜可能会长什么样?
目前比较多的说法是:
- 外观类似于普通眼镜:没人喜欢过于另类的眼镜
- 主要数据处理依赖于 iPhone:眼镜性能、续航限制
- 只有 LiDAR,没有普通摄像头:保护隐私,提高续航
- 光波导显示,显示效果还不错:透明镜片,暂无法制造墨镜
- 续航一般,轻度使用一天:会配合无线充电技术
- 手势+语音+触摸,进行交互:以手势操作为主
以上这些猜测,从技术已经基本不存在障碍,主要还是推出时间仍然不确定。
传说的时间点主要有:
- 2020 年底:可能性不大,考虑到年底重点是Apple Silicon的 Mac 产品,及疫情影响,今年是不太可能推出了。
- 2021 年初:有比较大可能,但问题是配套的 iPhone 怎么办?如果是 iPhone 12 系列就可以支持的话,那当然是最好,但考虑到今年 iPhone 12 系列电池并不大,续航也不太好,恐怕技术上有困难;另外眼镜本身的制造难度也需要考虑,明年初发售有比较大困难。
- 2021 年下半年:最大可能是与 iPhone 13 同时推出,考虑到制造难度,具体发售可以再晚几个月。
考虑到Apple Silicon计划就是在 WWDC 上宣布的,但是产品要到年底才能发售,那么 AR 眼镜这种重大计划也是有可能采用类似规划的。总之,明年推出 AR 眼镜的可能性很大,综合考虑下半年可能性更大一些。