2023年6月6日，备受全球科技圈瞩目的 Apple Vision Pro 在苹果全球开发者大会（WWDC）上正式发布，宣称通过对 MV-HEVC 编码标准的硬件编解码支持，显著提升了 3D 视频主客观体验。一时间，很多开发者都在搜索 MV-HEVC 是什么，跟传统的基于 HEVC 的 3D 编码有什么区别？Apple Vision Pro 的技术是如何实现的？
01、3D 成像技术简介
在我们的日常生活中，视频已经成为了一种无处不在的媒介。从电影、电视节目到社交媒体上的短片，视频为我们提供了丰富多彩的视觉体验。然而，随着技术的不断发展，人们不再满足普通的 2D 视频，而希望获得更真实富有沉浸感体验的视频效果，3D 视频内容就这样逐渐进入人们的视野。3D 视频通过模拟人眼的立体视觉，使我们能够感受到深度和距离，提供了一种更加真实而富有沉浸感的视觉体验。
图1 左右眼是如何产生立体视觉的
目前，常用的 3D 视频成像技术包括全息投影，裸眼 3D 屏幕和立体电影显示技术等。
1.1 裸眼3D
裸眼 3D 技术是一种无需佩戴 3D 眼镜就能看到 3D 效果的技术。它通常通过在显示屏上设置特殊的光栅或透镜阵列，使左眼和右眼看到的图像有微小的差异，从而产生立体效果。但是，这种技术需要专用显示屏且造价昂贵，目前普及度不高。现有产品努比亚前段时间发布的Pad 3D 从AI裸眼3D平板上，看光场显示技术如何打破次元壁_哔哩哔哩_bilibili
图2 裸眼 3D 技术原理图
1.2 立体电影
立体电影显示技术是最早，也是最常用的立体影像技术，它通过使用双色滤镜或者偏振镜片，使左眼和右眼看到的图像不同，从而产生立体效果。观看这种视频只需要佩戴特殊眼镜即可。
图3红蓝 3D 图像
1.3 VR 头显
VR 头显将左右视点画面分别给到观众左右眼来呈现 3D 效果。Meta Oculus 就是一款市面上广受欢迎的 VR 头显设备，很显然，Apple 最近重磅推出的 Vision pro 也是同样的 VR 产品。除了全息投影技术外，其他的 3D 成像技术大多也都是是将左右两个视点的视频用不同的方法分别呈现在观众的左右眼中，因此 3D 视频可以看作是两路 2D 视频的合并显示。
图4 Apple Vision Pro
02、当下 3D 视频
目前常用 3D 视频内容，主要是 VR 头显和立体影视，大都基于左右视点图像的编码、传输和显示来完成。但长期以来，大量 3D 视频内容并没有使用专用的视频编码标准，而是使用通用的视频编码标准进行编码。主要的做法是将 3D 视频以 SBS（side by side）的形式，把左右两个视点合并到一帧画面中，再将合并后的序列进行编码，如图6所示：
图5 主流3D视频编码视频图像形式
03、什么是 MV-HEVC？
针对 3D 视频、尤其是多视点拼接 3D 视频的新特性，JCT-3V 标准专家组成立，并在2014年发表了适用于 3D 多视点视频编码的 HEVC 编码标准扩展：MV-HEVC。如图8 展示了按照 MV-HEVC 标准编码的 3D 视频右视点帧间预测的运动矢量图，图中可以看到右视点使用了大量的视点间参考模式，充分消除了视点间的冗余信息。
通俗的讲是在传统3D 视频只有一个视角，只能看到一个角度的3D美女，MV-HEVC可以看到多个角度的3D美女
图6 MV-HEVC 3D视频编码右视点码流分析示意（绿色线条带IL标识表示视点间参考）
目前，Apple Vision Pro 搭载的芯片通过固件层优化已经实现了对 MV-HEVC 码流的硬解支持。业务团队可以对自研 HEVC 解码器引入 MV-HEVC 扩展解码能力支持，并将其适配 ffmpeg，用户便可通过 ffmpeg 调用相关解码器解码 MV-HEVC 3D 视频流。
04、参考
zhuanlan.zhihu.com/p/657521171
05、GPT看完这个文章的总结
Apple Vision Pro：颠覆传统的3D视频体验
2023年6月6日，备受全球科技圈瞩目的Apple Vision Pro在苹果全球开发者大会（WWDC）上正式发布，宣称通过对MV-HEVC编码标准的硬件编解码支持，显著提升了3D视频主客观体验。一时间，很多开发者都在搜索MV-HEVC是什么，跟传统的基于HEVC的3D编码有什么区别？Apple Vision Pro的技术是如何实现的？
3D视频技术已经成为我们日常生活中的一部分，为我们带来了更加真实而富有沉浸感的视觉体验。然而，传统的3D视频技术还存在一些问题，比如需要佩戴特殊眼镜或使用专用显示屏，成本较高，普及度不高等。针对这些问题，Apple Vision Pro引入了一种名为MV-HEVC的新的编码标准，来改善3D视频的观看体验。
MV-HEVC是一种针对3D视频的编码标准扩展，基于HEVC编码标准并在其上进行了优化。相比传统的基于HEVC的3D编码，MV-HEVC具有以下优势：
- 多视点支持：MV-HEVC可以实现多视点的3D视频编码，从而使观众能够看到多个角度的3D效果。这一特性极大地增强了3D视频的沉浸感和真实感，使观众能够更好地感受到深度和距离。
- 视点间参考模式：MV-HEVC引入了视点间参考模式，充分利用视点间的冗余信息，提高了编码效率。通过使用大量的视点间参考模式，MV-HEVC可以更好地消除视点间的冗余，从而减小了码流的大小，提高了视频的压缩比。
Apple Vision Pro搭载的芯片通过固件层优化已经实现了对MV-HEVC码流的硬解支持。这意味着业务团队可以对自研的HEVC解码器引入MV-HEVC扩展解码能力支持，从而实现对MV-HEVC编码的3D视频流的硬解码。此外，用户还可以通过使用ffmpeg调用相关解码器来解码MV-HEVC编码的3D视频流。
总之，Apple Vision Pro通过引入MV-HEVC编码标准，实现了对3D视频的硬件编解码支持，极大地提升了3D视频的主客观体验。这一技术的引入将为用户带来更加真实而富有沉浸感的3D视频体验，为现有的3D视频技术带来了新的突破和发展。未来，我们可以期待更多基于MV-HEVC编码标准的创新应用和产品的出现，让我们的3D视频体验变得更加美好
