基于Meta AI Research、腾讯美国、MIT CSAIL和卡耐基梅隆大学的联合研究，Meta发布了Animated Drawings，这是一个基于AI的工具，用于从手绘的类人角色创建动画。
Animated Drawings结合了不同的技术来实现其目标，包括物体检测，以预测包括人物在内的紧密边界框；图像分割，将属于人形的像素与属于背景的像素分开；以及姿势估计，以识别一系列的骨骼关节。这使得创建一个数字版本的图画成为可能，然后通过应用从人类表演者那里获得的预选片段的运动数据，可以使用计算机图形技术进行动画。
根据研究人员的说法，这个项目是向绘画到动画的故事系统迈出的第一步：
我们通过几种方式来证明我们的方法的价值。首先，我们探索了我们系统的每个阶段的准确性和成功率与训练数据集大小的关系。其次，我们进行了一项感知研究，以显示在为这些人物制作动画时，扭曲视角重定目标的
吸引力。
正如研究人员所解释的那样，在最初尝试从合成数据中建立数据集未果后，他们建立了一个名为 "动画绘画演示 "的网络工具来收集创作者的数据。他们最初的目标是收集大约1万张图画，但压倒性的用户反应带来了超过300万张图画，其中约20万张进入了最终的数据集。
这项研究的结果在一篇刚刚被ACM Transactions on Graphics接受发表的论文中提出，由于Meta公司开放了论文中描述的算法的实现，现在可供实验使用。
(图片由Meta公司提供)
发布在GitHub上的Animated Drawings是用Python编写的，并在macOS Ventura 13.2.1和Ubuntu 18.04上测试。该工具允许通过使用类似的命令为任何现有的注释图纸轻松地创建一个动画：
from animated_drawings import render
render.start('./examples/config/mvc/interactive_window_example.yaml')
为了使用额外的图纸，用户必须先对其进行注释，这可以手动完成，也可以更容易地使用一组脚本来运行人形检测器和姿势估计器。这些脚本依赖于TorchServe，可以使用提供的Docker文件轻松部署。Meta说，注释文件有可能需要一些手动调整，为此，容器中还提供了一个基于网络的工具。
作为最后一步，可以使用BVH格式的运动剪辑为角色制作动画。Meta提供了许多BVH动画，包括跳跃、挥手致意等。额外的BVH动画可以使用rokoko等工具从RGB视频中创建。
如前所述，Animated Drawings只是基于人工智能的绘画到动画系统的第一次尝试，存在多种改进的可能性。具体来说，研究人员提到通过更好地处理缺乏焦点或失真、照明效果或阴影来改进分割，以及使用人形的预动画分类来改进姿势估计和动画。
关于作者
塞尔吉奥-德-西蒙尼
Sergio De Simone是一名软件工程师。塞尔吉奥作为一名软件工程师已经在一系列不同的项目和公司工作了超过15年，包括西门子、惠普和小型创业公司等不同的工作环境。在过去的几年里，他的工作重点是移动平台和相关技术的开发。他目前在BigML公司工作，负责iOS和OS X的开发。
显示更多显示更少
