NVIDIA ACE技术,一套强大的生成式AI工具,用于创建数字人,现在已成为开发者可用的Unreal Engine 5插件。
这个插件包括Audio2Face-3D等工具,它本身就是一个插件,利用音频生成精确的唇同步和面部动画。
NVIDIA已经创建了一个Unreal Engine 5的示例项目,为希望使用ACE并在他们的游戏和应用中添加数字人的开发者提供指导。
NVIDIA的Ike Nnoli写道:“作为开发者,你可以为你的知识产权建立一个数据库,以低延迟生成相关响应,并且这些响应可以无缝地驱动Unreal Engine 5中的MetaHuman面部动画。”
精确的面部动画只是更大图景的一小部分,因为检索增强生成(RAG)允许AI模型和角色了解对话历史和上下文。这些在Unreal Engine 5中的详细数字人或MetaHuman角色需要大量的AI计算能力来运行,因此它们可以驻留在云端。