诺亦腾刘昊扬:动作捕捉的前世今生

1872年的一天,在美国加利福利亚的一个酒店里,斯坦福与科恩围绕“马奔跑时蹄子是否着地”发生了争执,斯坦福认为,马奔跑得那么快,在跃起的瞬间四蹄应是腾空的。

 

而科恩认为,马要是四蹄腾空,岂不成了青蛙?应该是始终有一蹄着地。两人争执不下,争得面红耳赤,谁也说服不了谁。 于是两人就请英国摄影师麦布里奇作裁判。

 

可麦布里奇也弄不清楚,不过摄影师毕竟是摄影师,点子还是有的,他在一条跑道的一旁等距离放上24个照相机,镜头对准跑道;在跑道另一旁的对应点上钉好24个木桩,木桩上系着细线,细线横穿跑道,接上相机快门。

 

一切准备就绪,麦布里奇让一匹马从跑道的一头奔到另一头,马一边跑,一边依次绊断24根细线,相机就接连拍下24张照片,相邻两张相片的差别都很小。相片显示:马在奔跑时始终有一蹄着地。

 

在沙龙的一开始,刘昊扬讲了这样一个故事,上面的赌约就是动作捕捉的雏形。

 

动作捕捉技术的前世今生

随着科技的发展,动捕慢慢进化成机械式动捕、光学动捕和惯性动捕,其中各有优劣。

 

1。机械式动捕技术

现在已经很少有人使用了,顾名思义,机械式动捕就要用到机械,物体运动带动机械,从而被传感器实时记录下来。

 

优点是成本低,精度高,但缺点也同样明显,使用起来非常不方便,而且对演员的限制和阻碍很大,很麻烦,主要用于静态造型捕捉。

 

2。光学动捕技术

大众最常见的动捕,需要用到绿幕和摄像机,演员身上贴上反光点,摄像机捕捉运动轨迹,计算并成像。

 

优点是精准,缺点是设备太过复杂,需要架设,最要命的是多人会被遮挡,摄像机看不见自然也就捕捉不到了,但这种技术实际上多用于后期制作,而非实时输出,发展了50年,虽然技术没什么进步,但好在足够成熟。

 

3。惯性动捕技术

通过传感器捕捉动作,用专业一点的术语是:惯性导航传感器AHRS(航姿参考系统)、IMU(惯性测量单元)测量表演者运动加速度、方位、倾斜角等特性。用个3、5分钟,把17个传感器组成的“衣服””一穿,就能捕捉动作了。

 

优点是不怕遮挡、捕捉精度高、采样速度高、体积小、重量轻、性价比高、总之优点大大的,基本没啥缺点,是最容易普及的动作捕捉设备,在全世界的销量也远远高于光学动捕技术。

 

纵观动捕技术的发展史,实际上是从复杂到简单的过程,在未来绝大多数人都可以用的到,比如VR,就是非常典型的一个应用,刘昊扬说。

 

动作捕捉无处不在

如果是非专业人士,对于动捕技术大多都是一知半解,很多人对动捕技术的理解就是,不就是拍电影用的嘛?

 

其实动捕技术目前已经应用于很多领域,只不过我们不知道罢了,比如用无线动捕技术可以做直播,刘昊扬还举例子,在2014年中央5台就有动捕技术直播的先例。

 

当时的节目中,地面会凭空出现两名虚拟球员和观众互动,这背后就应用到了动捕技术:后台动捕,现场合成,台前直播。但毕竟不是专门用于直播的技术,有一次虚拟球员直接“天外飞仙”了,幸亏导播切的快,否则就出乱子了。

 

像春晚的虚拟小羊,也都是一样的做法。

 

还有一套30多个设备传感器的设备,可以捕捉身体和手指的动作捕捉设备,便宜!一套才卖一万多块钱,美国影视教科书设备,但对于大动作来说效果不是特别好,除了电影,初音未来的MV也用过。

 

还有专门给运动员用的,像体育这方面量化分析的基础很薄弱,对人的运动数据采集不足,但对于运动员来说这些数据又是非常重要的,在人体接近极限以后,运动员提升哪怕0.1秒的成绩都是非常困难的,如果你都每天能看到运动员的数据变化,并针对这些情况作出相应调整的话,未来几年的体育发展会截然不同。

 

动作捕捉:VR世界的交互密码

说了这么多,VR游戏自然少不了,大致可分为两种,一种是需要按钮事件的,这种动捕就需要非常精准,比如玩一个VR游戏,手指扣动扳机100下,然后枪响了98下,98%的成功率从概率上已经做的很好了,但玩家体验起来就会觉得,哎呀这个枪不好用啊,怎么都开不出枪来呢?所以如果是容错率很低的应用,还是直接用按钮吧。

 

未来VR社交游戏里不需要这么多按钮事件,只需要手和头还有语言就完成了绝大多数交互的需求。手势可能会在未来在VR社交里成为重头戏,光有Tocuh是不够用的。

 

最后,再回到我们熟悉的电影,其实诺亦腾接待过很多奥斯卡的人,VR对电影工业和生产流程有什么影响?科技的进步,把以前巨复杂、巨科幻的东西变成日常用,行业怎么适应?从业人员补哪些知识?让我们更加适应未来?

 

这些问题所有大公司都在做,谷歌、Facebook、HTC,但只能说公司做大了,在行业里的影响力也就越来越大,可究竟到底该往什么方向走,哪边才是对的,没有准确的答案,只能大家一起摸索。

 

VR其实就是没有导演的电影,这和以前的情况不一样了,以前是被动接受,演员的数据给观众,现在,每个观众都是演员。交互是让观众用自己的身体、道具切身的体验,让他不只看,而是和整个片子发生关系。在这其中VR交互扮演者很关键的角色。

 

动作捕捉 https://www.noitom.com.cn