太極:MIT华人学神开源的计算机图形库

2,858 阅读4分钟

MIT 人工智能实验室胡渊鸣等研究者构建了一个名为太極的开源计算机图形库,想要制作炫酷场景或特效的同学,不妨试试姚班大神的这项工作。

太極(Taichi)是一个开源的计算机图形库,它旨在提供易于使用的计算机图形学基础架构,并提供了 40 多份计算机图形学重要研究的实现。出于效率的考虑,太極本身是由 C++ 构建的,但用 Python 包装了接口。

简而言之,计算机图形学的主要研究内容是如何在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示的相关原理与算法。太極提供了非常多的图形学展示。

作者表示,该项目之所以称为 “太極”,是因为它不仅是汉语繁体字,同时还是日语的平假名。因为太極很大一部分都是作者在东京大学实习期完成的,包括 10 多篇论文和软件的一般框架,所以他采用两者皆可的名字。

总之,太極作为基于物理的模拟库(刚性 / 变形 / 流体动力学 / 光传输),作者希望它可以和名字一样作为模拟虚拟宇宙的起点。

什么是计算机图形学

关注机器学习的研究者与开发者很多并不太了解计算机图形学,如上所述,它主要希望在计算机中表示和计算不同的图形。计算机图形学的目的就是要利用计算机产生令人赏心悦目的真实感图形。为此,必须创建图形描述场景的几何表示,再用某种光照模型,计算在假想光源、纹理、材质等属性下的光照明效果。

计算机图形学有很多主题,包括用户界面设计、精灵图(sprite graphics)、矢量图形、3D 建模、着色器光线追踪和计算机视觉等。计算机图形学在整体方法论上很大程度需要依赖于基础几何、光学和物理科学。

正因为有这么多主题,它在实践中负责接收并处理物理世界的图像数据,并合理地展示这些图像数据。因此它对多媒体有非常重要的影响,并改变了动漫、电影、广告和视频游戏等的制作方式。

虽然看起来计算机图形学和计算机视觉之间有很多区别,但实际上它们并没有一个明确的界限,它们之间共享了大量的数学基础与理论基础。它们之间就像同一过程的两个方向,计算机视觉希望从图像中抽取语义信息,而计算机图形学希望将抽象的语义信息转化为图像。

太極的一些效果展示

太極在项目地址中展示了很多效果图,我们快看看吧。

作者简介

Yuanming Hu 胡渊鸣

胡渊鸣是 MIT 人工智能实验室(CSAIL)的一名博士二年级学生,师从 Fredo Durand 和 Bill Freeman 两位教授。

他从小就对计算机表现出极大的兴趣,因其在 2012 年全国高中学科奥赛(信息学)中的优异成绩而被保送至清华大学。

2017 年 7 月,胡同学作为优秀毕业生从清华大学姚班毕业。他在微软亚洲研究院跟随 Stephen Lin 博士实习时从事深度学习和计算机视觉相关工作。胡同学的本科论文主要研究的是使用强化学习和对抗学习的自动照片后期处理(发表在 SIGGRAPH 2018 大会上)。2018 年 11 月,胡同学在 Wojciech Matusik 教授的指导下完成其硕士论文。

  • 本科论文链接:https://arxiv.org/abs/1709.09602

  • 硕士论文链接:http://taichi.graphics/wp-content/uploads/2018/11/thesis_ChainQueen.pdf

YU FANG

Yu Fang 是美国宾夕法尼亚大学的一名博士一年级学生,师从 Chenfanfu Jiang 教授,主修计算机和信息科学。2018 年 7 月,Fang 同学从清华大学毕业。他的主要研究兴趣是物理基础上的模拟。现在,Fang 同学一直致力于利用物质点法模拟不同的现象,同时开发新技术加速现有的模拟框架。

两位作者合著论文

两位作者曾合作完成以下三篇论文:

  • 论文 1:《An Asynchronous Material Point Method》

  • 链接:http://squarefk.com/static/files/ampm.pdf

  • 这篇论文由胡渊鸣担任一作,Yu Fang 为二作,在 SIGGRAPH 2017 大会上发表。


  • 论文 2:《A Moving Least Squares Material Point Method with Displacement Discontinuity and Two-Way Rigid Body Coupling》

  • 链接:http://squarefk.com/static/files/mlsmpm.pdf

  • 这篇论文依然由胡渊鸣担任一作,Yu Fang 为二作,在 SIGGRAPH 2018 大会上发表。

  • 论文 3:《A Temporally Adaptive Material Point Method with Regional Time Stepping》

  • 链接:http://squarefk.com/static/files/fang2018async.pdf

  • 这篇论文则由 Yu Fang、胡渊鸣及其他两位作者合作完成,在 SCA 2018 大会上发表。