麻省理工学院使用AI创建3D运动雕塑

麻省理工学院使用AI 创建3D运动雕塑

传统上，研究运动的视频和照片都是2D的，所以它们不会向我们展示人或物体的3D结构。因此，麻省理工学院计算机科学与人工智能实验室、谷歌研究中心和加利福尼亚大学伯克利分校的研究人员已经开发出了一种人工智能系统，以展示人体是如何运动的。

Image courtesy of MIT CSAIL

这一系统被称为：MoSculp，其采用的运算法则，可以拍摄2D视频，并将其转化为3D打印“运动雕塑”。它可以为职业运动员、舞蹈家或任何想提高身体技能的人提供更详细的运动研究。

“想象一下，你有一段Roger Federer在网球比赛中发球的视频，还有一段你自己学习网球的视频，”Xiuming Zhang说道，“然后，你可以对这两种场景建立动作雕塑，进行比较，并在需要改进的地方进行更全面的研究。”

Image: Jason Dorfman/MIT CSAIL

MoSculp的实际工作方式：在将视频加载到系统后，MoSculp将检测到的关键点覆盖在输入帧上，并通过随机选择的帧来验证。(利用内置修正工具，用户可以根据需要进行调整。)在对“暂时不一致的检测”进行校正后，它生成运动雕塑并将其加载到自定义界面中。

这个过程需要多个步骤，MoSculp需要的是视频序列。原理如下：在将视频加载到系统中后，MoSculp首先会自动检测被试物体的2D关键点，例如，在芭蕾舞演员进行复杂的舞蹈动作时臀部、膝盖和脚踝。然后，它需要从这些点中尽可能提取最好的姿势，将其转变成3D“骨架”。

Image: Jason Dorfman/MIT CSAIL

在将这些骨架缝合在一起后，系统会生成可以3D打印的运动雕塑，显示出物体追踪到的平滑、连续的运动轨迹。用户可以在雕塑周围导航，并定制他们的图形，以聚焦于不同的身体部位，分配不同的材料以区分不同的部位，甚至定制灯光，然后用3D打印机打印出来。

在实验中，研究人员发现超过75%的实验对象认为MoSculp比标准的摄影技术具有更为详细的运动可视化方法。该系统最适合于大幅动作，比如抛球或在舞蹈动作中进行大范围的跳跃。它也适用于可能阻碍或使运动复杂化的情况，如穿宽松衣服或携带物品的对象。

目前，MoSculp只使用单一主题的视频，但团队希望扩展到多人。未来，他们相信它可以用来研究社交障碍、人际交往和团队动力学。

Photo: Jason Dorfman/MIT CSAIL

“舞蹈和高技能的运动动作常常看起来像‘移动的雕塑’，但它们只能创造出转瞬即逝的形状。”Adobe公司的宣传主管Courtney Brigham说，“这项工作展示了如何进行动作，并将其转化为具有客观运动可视化效果的真实雕塑，为运动员提供了分析自身运动以进行训练的方法，这只需要移动摄像头和一些计算时间。”该团队将于下个月在德国柏林举行的用户界面软件与技术大会上展示他们的论文《MoSculp:形状与时间的交互式可视化》。