概述
本次讲座,主要介绍了Vision框架中的人体姿态检测和使用深度信息进行视觉分析的新功能,以及如何从图像中提取人体骨架信息并进行三维重建。这些新功能为应用程序提供了更多的可能性和创新空间。
关键词
Vision框架,人体姿态检测,深度信息,三维重建
主要内容
内容一
Vision框架中新增了VNDetectHumanBodyPose3DRequest请求,可以返回包含17个关节的三维骨架信息。 VNDetectHumanBodyPose3DRequest请求是Vision框架中的新功能,可以返回包含17个关节的三维骨架信息,这些关节可以通过关节名称或关节组名称进行访问。与其他返回的点不同,3D关节的位置是相对于现实世界中捕获场景的米数,并以根关节为原点。这个请求可以为应用程序提供更多的可能性和创新空间,例如健身应用程序可以使用这个请求来跟踪用户的运动姿势。
内容二
Vision框架中新增了使用深度信息进行视觉分析的功能。 深度信息可以提供关于场景中物体的距离和位置的信息,这对于许多应用程序非常有用。Vision框架现在可以使用深度信息来提高人体姿态检测的准确性,并且可以使用深度信息来进行更精确的物体分割和跟踪。这个功能可以为应用程序提供更多的可能性和创新空间,例如增强现实应用程序可以使用深度信息来更准确地将虚拟物体放置在现实世界中。
内容三
Vision框架中新增了对多个人物进行检测分割的新功能。
Vision现在可以与图像中的多个人物进行交互,提供了新的人物实例掩码请求API。新的人物实例掩码请求API可以输出最多四个单独的人物掩码,每个掩码都有置信度分数。当场景中有许多人时,返回的观察结果可能会有遗漏或将它们进行了合并。此外,Face-detection API可以用于计算图像中的人脸数量。