清华姚班毕业生开发新特效编程语言,99行代码实现《冰雪奇缘》

a
audrey2018
楼主 (北美华人网)
只用99行代码,你也可以像《冰雪奇缘》里的艾莎公主一样拥有冰雪魔法。 虽然你不能在现实世界中肆意变出魔法,但却能在计算机的虚拟世界挥洒特效。
或许你不知道,电影和动画中特效有时仅仅短短的一秒,却可能需要高性能计算机演算一周,花费惊人。 《冰雪奇缘》没有真人出演,预算却高达1.5亿美元,每一秒的镜头都是经费在燃烧。一般人想用电脑做出CG特效简直不可想象。 然而,最近一位来自中国的MIT博士,开发了一种新的CG特效编程语言Taichi太极),大大降低了门槛。
白色:雪;红色:果冻;蓝色:水 一个简单的物理场景,普通PC仅需几分钟即可渲染完成,相比TensorFlow提速了188倍、比PyTorch快13.4倍,代码长度只有其他底层方法的十分之一。 安装它就像TensorFlow一样容易,使用起来也是差不多: import taichi as ti
甚至,Taichi的发明者胡渊鸣同学还为此编写了完整使用教程。 关于Taichi,胡同学已经发表了多篇文章,分别被SIGGRAGH 2018、ICRA 2019、NeurIPS2019、ICLR 2020等顶会收录。 计算机图形学知名学者、北大教授陈宝权给出很高的评价:
给胡渊鸣同学点赞!一己之力开发了物理模拟编程语言 Taichi! 像渊鸣这样如此投入写有影响力的开源代码实在是难能可贵。 像SIGGRAPH这样的,可能要投入1~2年才会有成果,论文接受率低,即使能发表出来,引用率也不高。



网友们在围观之后也纷纷表示:渊鸣大神太强了。
图形+系统+编译,真是创世的快乐。



88行代码模拟真实物理环境 正如胡同学本人所说,99行代码很短,背后的技术故事却很长。 故事的开头,要从Material Point Method(物质点法)说起。 MPM是一种在影视特效领域广受青睐的模拟连续介质方法,迪士尼的《冰雪奇缘》就用到了这项技术。
但在早期,MPM的运行速度非常慢,比如《冰雪奇缘》里安娜过雪地的镜头,据说要在集群上跑整整一个星期。 为了提高MPM的运行速度和性能,在大四毕业的那个暑假,胡渊鸣投入了Moving Least Squares MPM(MLS-MPM)的研究。
胡渊鸣的灵感是,用移动最小二乘法统一APIC(The Affine Particle-In-Cell Method)中的仿射梯度场(affine velocity field)和MPM中的变形梯度更新(deformation gradient update)两种离散化。
在宾夕法尼亚大学蒋陈凡夫教授的指导下,胡渊鸣等人完成了移动最小二乘物质点法(MLS-MPM)方法的研究,不仅实现了新的应力散度离散化,使MPM的运行速度快了两倍,还成功模拟了MPM此前并不支持的各种新现象。 比如材料切割:
刚性体的双向耦合:
这项成果最终发表在了SIGGRAPH 2018上。 为了进一步证明MLS-MPM的简易性,胡渊鸣用88行C++代码实现了MLS-MPM的demo。(代码详情请戳文末 taichi_mpm 项目链接)。 这个88行版本后来也成为了入门MPM的必备参考实现。
乾坤(ChainQueen)可微物理引擎 2017年的夏天结束之后,胡渊鸣正式进入MIT读博。 这时候,胡渊鸣又迸发了新的灵感:求出MLS-MPM的导数。有了导数,就能只用梯度下降来优化神经网络控制器。 在这一思想的指导下,ChainQueen诞生了。 胡渊鸣解释说,chain是为了纪念他在求导过程中被链式法则折磨的经历,而ChainQueen则与乾坤谐音。 乾坤基于MLS-MPM,是一种针对可变形对象的、实时的可微混合拉格朗日-欧拉物理模拟器。该模拟器在前向仿真和反向梯度计算中均实现了高精度。
这项研究发表在了ICRA 2019上,胡渊鸣也以此完成了硕士论文。 DiffTaichi 随后,胡同学将工作又推进一步,提出了可微分编程DiffTaichi,被ICLR 2020收录。 在这篇文章的代码中,胡同学创建了10个不同的物理模拟器,并根据现有基准对其性能进行基准测试。 Taichi中的可微分编程,可以通过蛮力的梯度下降有效地优化神经网络控制器,而不必使用强化学习。 10种可微分模拟器中的大多数模型可以在2-3小时内实现,而且大部分不需要GPU。这些示例中,弹性体、刚体、流体、光线的折射、弹性碰撞,常见物理环境应有尽有。 第一个示例可微分弹性对象模拟器,经过我们的实测,在2017版13寸的MacBook Pro上也能运行,而且完成优化只需不到十分钟的时间:
不仅是2D,更复杂的3D弹性体也能模拟:
还有可微分的3D流体模拟器,经过450步的梯度下降迭代,已经非常逼真:
DiffTaichi模拟水对光线折射的渲染器,一张图片经过它的渲染,甚至能骗过图像分类器。经过测试,VGG16将带有水波纹的松鼠图片当做金鱼,而且认为概率为99.91%。
在强化学习的模拟环境中,刚体机器人很常见,DiffTaichi也能模拟:
DiffTaichi还能模拟多个物体的复杂场景,比如台球:

用Taichi语言编写的模拟器大大简化了代码,可微分弹性对象模拟器只用了110行代码,而直接用CUDA编写则需要490行。
同时,Taichi的速度还很快,相比CUDA版本几乎没有什么损失,比TensorFlow快了188倍,比PyTorch快13.4倍。
而且神经网络控制器一般只需要几十次迭代,即可完成优化。 为何做Taichi 谈到为何要做Taichi,计算机图形学一直缺乏像TensorFlow那样的通用工具,每个要从事开发的人都必须了解基本原理,才能去做编程。 这和深度学习领域形成了鲜明的对比。 近年来,甚至有中学生,利用TensorFlow或者PyTorch,写一点代码,优化几个模型,就可以在一些顶会上发表论文,许多人看来,这是件坏事,因为让深度学习论文的含金量大大降低。 但胡渊鸣看到了另一面。他认为,深度学习这些年之所以能发展快、门槛低,就是因为有简单易用的好工具,计算机图形学让人望而却步,就是因为缺乏类似的工具,因此他开发了Taichi。 本来Taichi要做成一种单独的编程语言,但是为了方便大家使用,胡渊鸣用了一句import taichi as ti把Taichi语言假装成Python。 改成基于Python,这样做的好处不仅是降低学习门槛,还能使用很多现成的Python IDE,与numpy、matplotlib等工具库无缝衔接。 经过几个月的努力,胡渊鸣终于把Taichi改成了pypi安装包,让不同配置不同操作系统的机器都能顺利运行图形学的程序。 高一保送清华,博一6篇paper 说起胡渊鸣,这又是一位从少年时代起就熠熠闪光的“大神级”选手。 高一保送清华,竞赛生涯中,拿下APIO 2012、NOI 2012、ACM-ICPC 2013长沙区域赛、ACM-ICPC上海区域赛四块金牌,其中APIO 2012成绩是全场第一名。 2013年进入清华姚班,胡渊鸣与陈立杰、范浩强等人成为同班同学,这群年轻人的才华在这里汇聚、碰撞,与“姚班”二字相互成就。 本科期间,胡渊鸣先后前往东京大学、斯坦福大学访学,并曾于微软亚洲研究院实习,从事深度学习和计算机图形学研究。本科便有多篇论文中选CVPR、SIGGRAPH等国际顶会。 2017年,胡渊鸣进入MIT读博。入学13个月后,完成硕士论文ChainQueen,拿到MIT硕士学位。博一期间,共发表6篇顶会论文。
l
letgogogo
a
audrey2018
回复 1楼audrey2018的帖子[/url]

🐮

letgogogo 发表于 1/6/2020 11:32:27 PM

真的是牛人啊
N
Nana2017
牛人啊
g
glcm
为何导师都是中国人啊 ---发自Huaren 官方 iOS APP
h
happyelf
不明觉厉, 牛
a
atypia
厉害
s
sunnyme
回复 1楼audrey2018的帖子 不明觉厉 牛
行政执法
没看懂。。。。 就是觉得好厉害
a
aiyamayayongle
回复5楼glcm 2017年开始读博,2019年完成硕士论文,我觉得有哪里不太对。
l
letgogogo
回复5楼glcm 2017年开始读博,2019年完成硕士论文,我觉得有哪里不太对。
aiyamayayongle 发表于 1/7/2020 12:45:15 AM

按博士生录取,途中顺便拿个硕士学位在很多学校很正常
冰雪奇缘
太極(Taichi)是一個開源的計算機圖形庫,它旨在提供易於使用的計算機圖形學基礎架構,並提供了 40 多份計算機圖形學重要研究的實現。出於效率的考慮,太極本身是由 C++ 構建的,但用 Python 包裝了接口。 c++的效率加上Python的简洁等于Taichi?
h
hr717
笑死了,相当于一个script而已,国内想出名都想疯了。
太極(Taichi)是一個開源的計算機圖形庫,它旨在提供易於使用的計算機圖形學基礎架構,並提供了 40 多份計算機圖形學重要研究的實現。出於效率的考慮,太極本身是由 C++ 構建的,但用 Python 包裝了接口。 c++的效率加上Python的简洁等于Taichi? 冰雪奇缘 发表于 1/7/2020 1:56:00 AM
m
minqidev
笑死了,相当于一个script而已,国内想出名都想疯了。

hr717 发表于 1/7/2020 12:21:04 PM

你有看过tachi的源代码没有?

他用c++写了一个tachi的库,然后自己又用python外包之后方便使用。
他自己写还写了很多物理特性的实现。
h
hr717
这就是一个wrapper加些library,big deal?这就是开发了新语言? 世纪玩笑啊😂
你有看过tachi的源代码没有? 他用c++写了一个tachi的库,然后自己又用python外包之后方便使用。 他自己写还写了很多物理特性的实现。 minqidev 发表于 1/7/2020 12:49:00 PM
c
coalpilerd
这就是一个wrapper加些library,big deal?这就是开发了新语言? 世纪玩笑啊😂
hr717 发表于 1/7/2020 1:31:38 PM


就是开发了一个库呀。一看到import as就知道是啥了。小编不懂瞎写而已。

但是速度提高这么多还是很了不起的,确实是big deal。
O
Olympian
笑死了,相当于一个script而已,国内想出名都想疯了。

hr717 发表于 1/7/2020 12:21:04 PM

难道说的不是c++也是他写的,再加了python wrapper?都是他自己写的吧?
但不管怎样,这样怎么也不是新语言。。。
O
OatmealNuts
虽然不是很懂,但是看到一帮人嘲笑人家,觉得很是恶心,难道你们自己都很有本事吗?说人家代码就一script什么的,看懂人家的重点是什么了吗?大幅提高速度,能够在低运力设备运算才是真正的卖点。那个打包成简易计算机语言让人人可以access,是锦上添花。而且做成开源,惠及普罗大众,也不是尔等酸葡萄的眼界可以比的。
一坨喵
没看明白,但是觉得好牛
E
EEswine

你有看过tachi的源代码没有?

他用c++写了一个tachi的库,然后自己又用python外包之后方便使用。
他自己写还写了很多物理特性的实现。

minqidev 发表于 1/7/2020 12:49:44 PM


有Python封装的C++实现图形特效库,非常牛了,不过不能算做新语言,不过对记者没法要求表述准确。
c
chiwawa
厉害厉害啊
q
qiqi_hua
今天早上有人发这个让我试试呢。 前面质疑的,不要! 这是用数学模拟优化物理模型,利用各种算法加快速度计算物体在空间的状态,提供图形显示,然后提供简洁Python接口。这是很难很难的!!!上面任何一个内容都很难。 共轭梯度,牛顿/拉格朗日,我有空贴图上来你们看看呗。
A
ArrestedDevelopment
不知道为什么要跟tensorflow和pytorch比。功能完全不一样。还是一个很好的开源项目的
G
Gish
单纯就是觉得CG难,全是数学,以前修过一门基础课,差点要了命。脑子不够使的真是学不来。
e
ecko
感觉姚班广告有点儿多
a
aiyamayayongle
昨天去他自己的网站大致看了看,他自己还是挺谦虚的,在网站上明确说了他的工作是建立在好几代前辈的基础上完成的,他只是有幸成为了最后一个接棒者完成了这个接力项目。 结果被不太懂行的小编一写,他成了改变整个CG领域的巨人,他看到小编的这文章大概也会有点无语吧。
r
rainbowmm
前几天看到报道了特意跑去网站上观摩了一下 又牛又帅 特别服气
m
montecarlovegas
今天早上有人发这个让我试试呢。 前面质疑的,不要! 这是用数学模拟优化物理模型,利用各种算法加快速度计算物体在空间的状态,提供图形显示,然后提供简洁Python接口。这是很难很难的!!!上面任何一个内容都很难。 共轭梯度,牛顿/拉格朗日,我有空贴图上来你们看看呗。
qiqi_hua 发表于 1/7/2020 3:30:14 PM
求科普 最近华人大水太厉害 要些硬知识洗脑 ---发自Huaren 官方 iOS APP
甜妞妞
真是牛
大喜妞


按博士生录取,途中顺便拿个硕士学位在很多学校很正常

letgogogo 发表于 1/7/2020 12:55:59 AM


对,再正常不过。
我当时也有机会拿个硕士,基本就是花$100手续费之类的。我想着反正我要读博,就不拿了。正儿八经的家喻户晓的大学。
s
sswydp
为何导师都是中国人啊 ---发自Huaren 官方 iOS APP
glcm 发表于 1/7/2020 12:00:14 AM

导师是中国人 咋嘛着你呢?
t
twptwp
回复 22楼qiqi_hua的帖子 等, 好奇呢!
z
ziyi99
太牛了!
L
LoveShine
不明觉厉 +1
d
dolphina
太牛了!
似曾相识
虽然不是创建新语言,但还是很厉害的,这里面全是数学,我们这种学渣看着头都大。
q
qiqi_hua
拜托朋友今天运行了例子,真是不错。普通laptop,60% processing power加GPU加速。FPS设立低一些,完全不需要cluster,不需要上G colabs。 有空我做个流体和刚体的例子。真的想说,天外有天。做这个需要牛人!能够开源,那是何等气概!本科文章上CVPR这些。 我做IT很多年,得益于开源很多很多;也得益于github/StackOverflow/etc,还有辛辛苦苦义务维护各种开源库的,Sophus,Eigen,OpenCV,SQLite, xxxSLAM. 当然可以质疑他们,但是不要轻易的贬低。
m
mingcedargrove
外行,不懂。有哪位愿意详细说说?
h
honglieve
不明觉厉,赞一个
b
bingmi
这个中文硬翻译看着太累了😓 “这和深度学习领域形成了鲜明的对比。”
c
cathytree
虽然不是很懂,但是看到一帮人嘲笑人家,觉得很是恶心,难道你们自己都很有本事吗?说人家代码就一script什么的,看懂人家的重点是什么了吗?大幅提高速度,能够在低运力设备运算才是真正的卖点。那个打包成简易计算机语言让人人可以access,是锦上添花。而且做成开源,惠及普罗大众,也不是尔等酸葡萄的眼界可以比的。
OatmealNuts 发表于 1/7/2020 2:06:43 PM

我告诉我家的,某人说呵呵,安娜和雪人也是99行吗?
q
qiqi_hua

系统提示:若遇到视频无法播放请点击下方链接
https://www.youtube.com/watch?v=BOr5PrjMJVM&feature=youtu.be


试了试,不错。