这次风口一定要抓住,Apple VisionOS 开发教程

2,509 阅读12分钟

★★ 官网教程翻译,后续更新会及时翻译 ★★

session1_2x.jpg

找到你的道路

凭借一流的框架和工具,visionOS 是您打造令人难以置信的空间体验的完美平台。无论您是在构想应用程序或游戏、构建媒体体验、设计与 SharePlay 的连接和协作时刻、创建业务应用程序,还是更新您的网站以支持 visionOS,我们都有会议和信息来帮助您制作您的计划。通过 46 节课为 SDK 做好准备,这将帮助您了解 visionOS 的开发、空间体验的设计以及测试和工具。


开始使用 visionOS

visionOS 将熟悉的框架和全新的概念结合在一起,因此您可以为空间计算构建一个全新的应用程序设计领域。为了帮助您开始您的旅程,我们整理了一系列介绍性会议,涵盖空间计算的构建块以及该平台的设计应用程序和游戏。了解 SwiftUI、UIKit、RealityKit 和 ARKit 等熟悉的框架如何发展以帮助您为无限画布构建应用程序。这些会议旨在为 visionOS 的开发提供良好的基础——无论您以前使用 Apple 平台的经验如何。

满足空间计算。(Meet spatial computing)

发现构成空间计算的基础——窗口、体积和空间——并了解如何使用这些元素来构建引人入胜的沉浸式体验。我们将带您了解用于为 visionOS 创建应用程序的框架,并向您展示如何进行具有深度、规模和沉浸感的设计。探索如何使用 Apple 的工具,例如 Xcode 和新的现实作曲家 Pro,以及如何制作适合所有人的空间计算应用程序。

开始构建空间计算应用

空间设计

创造无障碍空间体验

开发您的第一个沉浸式应用

一旦您熟悉了 visionOS 的基础知识,就可以进一步了解为该平台提供支持的框架。浏览适用于 visionOS 的 SwiftUI,了解如何为窗口和音量增加深度,并使用全空间让人们以前所未有的方式体验您的应用程序。我们还将向您介绍用于空间计算的 UIKit,并分享如何将它与 SwiftUI 一起使用。

认识用于空间计算的SwiftUI

认识用于空间计算的UIKit

探索 SwiftUI 和 RealityKit

要更深入地了解 SwiftUI 和 RealityKit,请探索一系列专注于 SwiftUI 场景类型的专门会议,以帮助您跨窗口、体积和空间构建出色的体验。了解 Model 3D API,了解如何为应用添加深度和维度,并了解如何使用 RealityView 渲染 3D 内容。我们将帮助您准备好启动 ImmersiveSpace——一种新的 SwiftUI 场景类型,可让您为 visionOS 打造出色的沉浸式体验。了解管理场景类型、增加沉浸感和打造“超凡脱俗”体验的最佳实践。

提升您的窗口应用程序以进行空间计算

将SwiftUI带到下一个维度

使用SwiftUI超越窗口

在我们的第二个系列中,了解如何使用 RealityKit 为您的应用程序带来引人入胜的沉浸式内容。开始使用 RealityKit 实体、组件和系统,了解如何将 3D 模型和效果添加到您的项目中。我们将向您展示如何将您的内容嵌入实体层次结构、使用锚点将虚拟内容与现实世界融合、将粒子效果引入您的应用程序、添加视频内容以及使用门户创建更身临其境的体验。

使用RealityKit增强您的空间计算应用

使用 RealityKit 构建空间体验

重新发现 ARKit

最后,我们将帮助您了解 visionOS 上的 ARKit。该平台使用 ARKit 算法来处理持久性、世界映射、分割、垫子和环境照明等功能。这些算法始终在运行,允许应用程序和游戏在共享空间中自动受益于 ARKit。一旦您的应用程序打开一个专用的完整空间,它就可以利用 ARKit API 并将虚拟内容与现实世界融合在一起。

我们将分享如何完全重新构想此框架以让您构建交互式体验——同时保护隐私。了解如何制作与某人的房间互动的 3D 内容——无论您是想将虚拟球从地板上弹开还是将虚拟油漆泼到墙上。探索 ARKit API 的最新更新,并跟随我们演示如何在您的应用程序中利用手部轨迹和场景几何。

认识用于空间计算的 ARKit

改进您的 ARKit 应用以获得空间体验


为 visionOS 设计

了解如何为空间计算设计出色的应用程序、游戏和体验。发现全新的输入和组件。潜入深度和规模。添加沉浸感。创建空间音频音景。寻找合作和联系的机会。并帮助人们在探索全新世界的同时与周围环境保持联系。无论这是您第一次设计空间体验,还是多年来一直在构建完全身临其境的应用程序,了解如何创建神奇的英雄时刻、迷人的音景、以人为本的 UI 等等——所有这些都可以通过 visionOS 实现。

空间设计原则

设计空间用户界面

空间输入设计

探索身临其境的声音设计

视觉和运动的设计考虑


探索适用于 visionOS 的开发人员工具

Apple 提供了一套全面的工具,可帮助您为 visionOS 构建出色的 app、游戏和体验。了解如何在 Xcode 中开始您的第一个 visionOS 项目,探索工具和测试的更新,了解如何在 3D 开发工作流程中利用 reality composer Pro,并了解如何使用 Unity 的创作工具来为空间计算创造出色的体验。

使用 Xcode 进行开发

开始使用 Xcode 开发 visionOS。我们将向您展示如何将 visionOS 目标添加到现有项目或构建全新的应用程序、Xcode 预览中的原型,以及从 reality composer Pro 导入内容。我们还将分享如何使用 visionOS 模拟器根据各种模拟场景和光照条件评估您的体验。了解如何创建测试和可视化以探索空间内容的碰撞、遮挡和场景理解,并优化该内容以提高性能和效率。

Xcode 15 中的新功能

开发您的第一个沉浸式应用

认识 RealityKit 跟踪

探索空间计算渲染

优化空间计算的应用程序功能和性能

认识空间计算的内核位置

认识现实作曲家专业版

发现一种为您的 visionOS 应用程序预览和准备 3D 内容的新方法。本月晚些时候可用的 reality composer Pro 利用 USD 的力量帮助您创作、编辑和预览资产,例如 3D 模型、材料和声音。我们将向您展示如何利用此工具为您的应用程序创建身临其境的内容,为对象添加材料,并在 Xcode 中将您的 reality composer Pro 内容带入生活。我们还将带您了解 Apple 平台上通用场景描述 (USD) 的最新更新。

认识现实作曲家 Pro

在 reality composer Pro 中探索素材

在 Xcode 中使用 reality composer Pro 内容

探索美元生态系统

开始使用 Unity

了解如何直接在 Unity 中构建 visionOS 体验。了解 Unity 开发人员如何使用他们现有的 3D 场景和资产为 visionOS 构建应用程序或游戏。由于 Unity 和 Apple 框架之间的深度集成,您可以在任何可以使用 RealityKit 的地方创建体验——无论您是为窗口、体积还是共享空间构建 3D 内容。您还可以获得为 Apple 平台构建的所有好处,包括访问本机输入、直通等。我们还将向您展示如何使用 Unity 打造完全身临其境的体验。

创建身临其境的 Unity 应用程序

将您的 Unity VR 应用带入完全身临其境的空间

了解 TestFlight 和 App Store Connect

App Store Connect 将提供您在 App Store 上管理、测试和部署 visionOS 应用程序所需的工具。我们将分享部署您的第一个空间计算应用程序、为现有应用程序添加对 visionOS 的支持以及管理兼容性的基础知识和最佳实践。我们还将向您展示适用于 visionOS 的 TestFlight 如何让您测试您的应用程序并在迭代时收集有价值的反馈。

探索用于空间计算的 App Store Connect


构建游戏和媒体体验

探索如何使用 visionOS 在您的游戏和媒体体验中创造真正身临其境的时刻。游戏和媒体可以利用全方位的沉浸感来讲述令人难以置信的故事,并以新的方式与人们联系。我们将向您展示可用于开始 visionOS 游戏和叙事开发的途径。了解使用 RealityKit 有效渲染 3D 内容的方法,探索视觉和运动的设计考虑,并了解如何创建完全身临其境的体验,使用金属或 Unity 将人们带到一个新世界。

为空间计算构建出色的游戏

探索空间计算渲染

视觉和运动的设计考虑

创建身临其境的 Unity 应用

将您的 Unity VR 应用带入完全身临其境的空间

探索沉浸式应用的金属

声音还可以显着增强您的 visionOS 应用程序和游戏的体验——无论您是为按钮按下添加效果还是创建完全身临其境的音景。了解 Apple 设计师如何选择声音并构建音景,以在窗口、音量和空间中创造富有质感的沉浸式体验。我们将分享当您在空间中放置音频提示、改变重复的声音以及在您的应用程序中构建声音愉悦时刻时,您如何通过声音丰富应用程序中的基本交互。

探索身临其境的声音设计

如果您的应用程序或游戏具有媒体内容,我们提供了一系列会话设计来帮助您更新视频管道并为 visionOS 构建出色的播放体验。了解如何扩展交付管道以支持 3D 内容,并获取应用程序中空间媒体流的提示和技术。我们还将向您展示如何使用支持 visionOS 视频播放的框架和 API 创建引人入胜的沉浸式播放体验。

提供空间体验的视频内容

创造出色的空间播放体验


为协作、共享和生产力而构建

共享和协作构成了 visionOS 的内核部分,通过提供应用程序和游戏体验,让人们感觉就像在同一个空间中一样。默认情况下,人们可以在 FaceTime 通话中与他人共享任何应用程序窗口,就像在 Mac 上一样。但是当您采用 GroupActivities 框架时,您可以创建下一代协作体验。

通过了解您可以在应用中创建的共享活动类型,开始在 Apple vision Pro 上设计和构建 SharePlay。了解如何在体验参与者之间创建共享上下文,并了解如何通过支持空间角色来支持应用程序中更有意义的交互。

设计空间 SharePlay 体验

构建空间 SharePlay 体验


创建网络体验

探索适用于 visionOS 的网络,了解人们如何以全新的方式体验您的网络内容。探索此平台的输入模型并了解如何针对空间计算优化您的网站。我们还将分享新兴标准如何帮助塑造网络 3D 体验,深入了解 Safari 扩展的最新更新,并帮助您使用 Safari 中的开发人员功能来制作原型并测试您的 Apple vision Pro 体验。

认识用于空间计算的 Safari

Safari 扩展中的新功能

重新发现 Safari 开发者功能

无论您是在 Web 上还是在应用程序中使用 Quick Look,了解如何为 3D 内容、​​空间图像和视频等添加强大的预览。我们将分享系统呈现这些体验的不同方式,演示人们如何拖放此内容以在共享空间中创建新窗口,并探索如何直接在应用程序中访问 Quick Look。我们还将讨论在 visionOS 中为 Quick Look 创建 3D 内容时的最佳实践,包括对 3D 质量和性能的重要考虑。

探索空间计算的快速查找

为快速查看空间体验创建 3D 模型


在 visionOS 中运行您的 iPad 和 iPhone 应用程序

了解如何在 visionOS 中运行现有的 iPadOS 和 iOS 应用程序。探索 iPadOS 和 iOS 应用程序如何在此平台上运行,了解框架依赖性,并了解 iPad 应用程序交互的设计。当您准备好将现有应用程序提升到一个新的水平时,我们将向您展示如何针对 Shared Space 优化您的 iPad 和 iPhone 应用程序体验,并帮助您改善视觉效果。

在共享空间

中运行您的 iPad 和 iPhone 应用程序为共享空间增强您的 iPad 和 iPhone 应用程序