小扎在元宇宙「长腿」的秘密：加装硬件不靠谱，机器学习才是银弹

来源：“新智元”（ID:AI_era），作者：LRS 

图片来源：由无界版图AI工具生成。

元宇宙让你截肢，Meta让你站起来，而且免费（不用额外加装硬件）！

元宇宙的愿景是美好的，但前路困难重重。

由于头显设备无法捕捉到腿部的运动，所以目前元宇宙里的虚拟化身都只能有一半「身子」。

最近Meta在Horizon Worlds里完成一个划时代的创举，不仅在元宇宙里给化身加上腿，甚至还能旋转跳跃。

但也有批评者表示，这根本就不是用户真实的腿部运动，Meta只是利用技术模拟了运动轨迹，让行动看起来真实一些。

不过相比其他元宇宙应用中的「意念飞行」或者「假腿滑行」来说，Meta确实实现了元宇宙中零条腿的突破。

而Oculus软件开发包（SDK）最近也发布了更新，开发者可以在新设备使用身体追踪、面部追踪、眼球追踪技术，可以将用户在现实中的一举一动都带入到映射到元宇宙中。

所以，Meta到底是怎么让虚拟化身长腿的？

长腿了，但没完全长

首先提一个问题，「长腿」这件事，对「你自己」来说更重要，还是对别人更重要？

比如在FPS游戏里，我们从来没有看到过使用角色的腿长什么样（除了死亡视角），所以如何让用户观察到「其他角色」的正常腿部运动才是解决问题的关键。

Meta首席技术官Andrew Bosworth在一次Instagram会议上回答关于「腿部追踪」问题时，明确表示：

我们目前的战略就是研究如何让旁观者看起来「你」的腿更自然，因为实际上上他们也不知道你的腿到底是如何摆放的。如果你低下头看自己的腿时，可能仍然什么也看不到，不过这也不重要。

而Meta让虚拟化身站起来的秘密就藏在9月20日上传到arXiv的一篇论文里。

论文链接：https://arxiv.org/pdf/2209.09391.pdf

先看一下他们的解决方案演示视频，仅通过头显即可实现对人体运动的实时跟踪，可以极大提升AR/VR中的沉浸式互动体验。

从独立的可穿戴设备如HMD（头戴式设备）或AR眼镜中获得的关于身体的传感器数据非常有限。

这篇论文中，Meta提出了一个强化学习框架，接收来自HMD和两个控制器的稀疏信号，并模拟可信的、物理上有效的全身运动。

在训练中使用高质量的全身运动数据作为监督，然后用一个简单的策略网络可以学习输出适当的扭力，以使角色实现平衡、行走和跳跃，同时密切跟踪输入信号。

实验结果表明，在完全没有观察到下半身的情况下，即使输入的只是HMD的6D变换，模型预测的腿部运动与真实运动轨迹相似度非常高。

研究人员还证明，单一的策略网络可以对不同的运动方式、不同的身体尺寸和新环境也具有鲁棒性。

虽然官方宣传这项功能是「身体追踪」（body tracking），但实际上更准确的形容是「身体姿势估计」。

发言人形容这项技术是逆运动学(inverse kinematics，IK)和机器学习(ML)的结合。

IK指的是一类基于已知位置估计骨骼(或机器人)部件未知位置的方程，其中的方程式是为应用程序中的全身虚拟现实化身提供运动的基础。

开发者不需要实现(甚至不需要理解) IK 背后的数学原理，像 Unity和Unreal这样的游戏引擎已经内置了IK

其他的一些身体跟踪技术往往需要一些专用硬件，比如像HTC 的Vive Tracker等，而VR 的 IK 往往是不准确的，Meta的主要卖点在于它的机器学习模型可以免费生成更精确的身体姿势。

在一次面向开发者的演讲中，身体追踪产品经理Vibhor Saxena表示，未来几年身体跟踪的新改进将通过相同的 API 提供，所以无需更换设备即可享受最新的身体跟踪技术。

但这种方法仍然存在一些关键问题没有解决，比如如何流畅地处理坐姿和站姿之间的变换，以及如何使腿部在用拇指移动时看起来自然。

通过这项技术安装的腿行动轨迹也并非完全准确，并且有160ms的延迟，在72Hz的设置下，大约是11帧。

不过相比当下的元宇宙应用程序中，虚拟化身的移动看起来更像是在滑行或「意念飞行」来说，这项技术已经是重大进步了。

到底是不是身体追踪？