一文详解英伟达两个最新的元宇宙布局

作者| Chenglin Pua（马来西亚）编审 | 于百程 排版 | 王纪珑琰

元宇宙就好像一片还没有被开发的“美洲”，吸引了许多企业来淘金。当中最积极的莫过于Meta了。实际上除了Meta之外，英伟达也是不遗余力的布局元宇宙，希望成为元宇宙领域的基础设施供应商。在2022年8月的SIGGRAPH大会上，英伟达大秀肌肉，展示了他们的最新进展。例如新推出的Omniverse ACE以及希望能够将通用场景描述 （USD）作成为元宇宙的 HTML，让更多的元宇宙平台之间能够互动。

英伟达打造强大的云原生超级计算机

在2022年8月9日SIGGRAPH大会上，英伟达自家的元宇宙产品大放光彩，当中包括了云原生超级计算机（Omniverse ACE，Omniverse Avatar Cloud Engine）。云原生超级计算机融合了高性能计算的强大算力和云服务的安全性与易用性。云原生超级计算机在保障不牺牲应用性能的同时允许多用户安全共享。云原生超级计算机允许多用户共享一台超级计算机，同时保证每个用户的应用的安全性和私密性。再来则是云原生超级计算机使用DPU来处理存储、租户隔离安全和系统管理等任务。这样可以解放CPU，使其专注于处理任务，从而最大限度地提高系统的整体性能。

云原生超级计算机与传统超级计算机的差别

来源：英伟达官网

Omniverse ACE的运作方式
来源：英伟达官网

Omniverse ACE建立在英伟达的统一计算框架之上，该框架提供了对丰富的软件工具和API的访问，从而利用高度逼真且可以进行互动的化身所需的各种技能。这些工具包括用于开发语音AI应用的Riva、用于计算机视觉和智能视频分析的Metropolis、用于高性能推荐系统的Merli、用于自然语言理解的大型语言模型的NeMo Megatron，以及用于AI动画的Omniverse。

自Omniverse发布以来，已经有近20万次下载量。而此次英伟达发布的Omniverse ACE更是将Omniverse推向另一个境界。Omniverse ACE的核心技术包括了物理加速引擎PhysX（如今支持粒子分布的模拟），大幅提升虚拟世界物理准确性、开源的材质定义语言（可以模拟物理上的精确材料，并支持图形API标准，如OpenGL或Vulkan）、结合RTX图形和AI的神经图形功能（例如迭代动物的形式与点云，然后自动生成一个3D 网格、可以可以生8K，360度全景图和从2D图像创建3D对象和场景）等。

Omniverse ACE的Audio2Face功能，不仅可以完全根据声音创建面部动画，而且还能随着时间的推移引导化身的情绪。也就是说，创作者可以轻松地融合关键情绪，如喜悦、惊奇、愤怒和悲伤。在未来版本的Audio2Face中，开发者可以只用一张照片创建化身，自动应用纹理并生成可用于动画的3D网格。Audio2Gesture能用能用音频文件生成逼真的身体姿势动作；Project Tokkio则能提供视觉、感知和智能对话能力，让虚拟形象提供建议、提高餐厅等场所的客户服务水平。

Vid2Vid Cameo功能则是可以利用人工智能从任何标准的2D视频中捕捉人物的面部动作和表情。此一神经网络功能进行了18万段视频的训练，学会了识别20个关键点来模拟面部运动ーー对眼睛、嘴巴、鼻子、眉毛等部位进行编码。

Omniverse ACE的扩展机器学习框架Modulus则是允许开发人员通过使用AI来加速现实世界物理模拟，让元宇宙看起来和感觉上都像物理世界。

英伟达表示，人工智能未来将帮助艺术家们创造出建造元宇宙所需的大量3D内容。例如，他们可以使用神经图形来快速捕捉物理世界中的对象和行为。

Omniverse ACE的模型和服务都在云端，因此企业不用担心算力问题，任何规模的企业都可以立即获得构建部署虚拟形象所需的大规模算力。这对游戏、聊天机器人、虚拟人、数字孪生和虚拟世界的大规模生产工作都会很有帮助。

英伟达副总裁Rev Lebaredian表示，Omniverse ACE结合了相当多复杂的人工智能技术，开发者不仅可以更容易地构建和定制栩栩如生的虚拟助手，而且这些数字人甚至还有可能通过图灵测试。此外，Rev Lebaredian也进一步确定了英伟达进军元宇宙的决心：元宇宙蕴含的商机价值数万亿美元，任何企业机构都不愿错过它。

新推出的Omniverse ACE基本覆盖了虚拟人所需的各种核心功能，如实现理解多种语言、响应语音提示、智能视频分析、高性能推荐系统、与环境互动并提供智能建议等等。这些工具使开发者足以解锁交互式虚拟人所需的大部分技能，并做到先进水平。只能说英伟达在布局元宇宙的道路上越走越远且越战越强。

Omniverse ACE生成的模型

英伟达希望USD 成为元宇宙的 HTML，让更多元宇宙平台可以互动