游戏快报

“自主意识”NPC?英伟达公布了一项可能颠覆游戏开发的AI技术


游戏NPC不再千篇一律执行预设指令、根据玩家对话自由发挥的情况,可能要出现在游戏里了?英伟达最近公布的一项新AI技术就指向了这种可能性。

AI生成技术正在从根本上改变游戏行业,从设计开发、到游玩方式。游戏开发者正在探索,怎样在2D、3D的内容创作管线中利用AI技术。这其中有一些让人兴奋的要点:在于AI带来了“在游戏运行过程中创作内容”的能力,这在更早期的阶段原本是无法实现的。
 
随着游戏变得越来越复杂,游戏对于NPC的刻画也在不断进步。面部表情更丰富、台词量更大、与玩家的交互方式也更多样。
 
但当前玩家与NPC的交互方式,依然是偏程式化的、目的性明显,因为对话选项有限,玩家与NPC的交谈、交互都只是为了推动游戏内的故事发展。


而现在,生成式AI则可以改善NPC的交谈方式,创造出能够随时间推进而长期存在的性格,并对玩家的行为做出更特别的响应,让NPC的塑造显得更生动。
 
在COMPUTEX 2023展会上,英伟达公布了NVIDIA Avatar Cloud Engine (ACE) for Games。这是一项AI模型定制服务,通过AI驱动的自然语言互动让NPC表现得更为智能,从而改变游玩方式。
 
游戏开发者、中间件和工具软件的开发者,都可以利用NVIDIA ACE for Games在游戏、软件中部署定制的对话文本、语音以及动画的AI模型。
 
以下内容来自英伟达官方技术博客《Generative AI Sparks Life into Virtual Characters with NVIDIA ACE for Games》,由DeepL AI翻译完成:
 
用AI基础模型的最新突破生成NPC
 
优化的人工智能基础模型包括以下内容:
 


  • NVIDIA NeMo提供基础语言模型和模型定制工具,因此你可以为游戏角色进一步调整模型。这些模型可以根据需要进行端到端整合,也可以进行任意组合。这种可定制的大型语言模型(LLM)能够实现符合游戏世界的特定角色背景故事和个性。




  • NVIDIA Riva:提供自动语音识别(ASR)和文本转语音(TTS)功能,实现与NVIDIA NeMo的实时语音对话。



  • NVIDIA Omniverse Audio2Face:只需一个音源,就能立即为游戏角色创建富有表现力的面部动画。Audio2Face具有适用于虚幻引擎5的Omniverse连接器,因此用户可以直接为MetaHuman角色添加面部动画。

 
您可以通过NeMo模型对齐技术为NPC带来活力。首先,采用行为克隆,使基础语言模型能够根据指令执行角色扮演任务。为了进一步使NPC的行为与预期相一致,在未来,你可以应用人类反馈的强化学习(RLHF),在开发过程中接收设计师的实时反馈。
 
在NPC完全对齐后,最后一步是应用NeMo Guardrails,它为NPC增加了可编程的规则。这个工具包可以协助你建立准确、适当、符合主题和安全的游戏角色。NeMo Guardrails原生支持LangChain,这是一个用于开发LLM支持的应用程序的工具包。
 
英伟达为各种规模的中间件、工具和游戏开发者提供灵活的部署方法。实现NVIDIA ACE for Games的神经网络针对不同的能力进行了优化,并在尺寸、性能和质量方面进行了不同的权衡。
 
ACE for Games代工服务将帮助你对游戏模型进行微调,然后通过NVIDIA DGX云、GeForce RTX PC或企业内部进行部署,以便进行实时推理。你还可以实时验证模型的质量,并测试性能和延迟,以确保模型在部署前符合特定标准。
 
为游戏创建端到端的化身/头像解决方案
 
为了展示如何利用ACE for Games来构建NPC,英伟达与Convai公司合作,帮助其优化ACE模块并将其整合到产品中,Convai公司是一家为在游戏和虚拟世界中创建和部署AI角色而建立平台的初创公司。
 
“Convai公司创始人兼首席执行官Purnendu Mukherjee表示:”通过NVIDIA ACE for Games,Convai公司的工具可以实现所需的延迟和质量,从而以具有成本效益的方式向几乎所有的开发者提供AI非游戏角色。
 
Convai将英伟达Riva用于语音转文字和文字转语音功能,英伟达NeMo用于驱动对话的LLM,而Audio2Face则用于从语音输入中获得AI驱动的面部动画。
 
视频1. 英伟达Kairos演示展示了身临其境的NPC Jin,以及利用最新的英伟达RTX和英伟达DLSS技术打造的拉面店。
 
如视频1所示,这些模块被无缝集成到Convai服务平台中,并被输入到虚幻引擎5和MetaHuman中,将身临其境的NPC Jin带入到生活中。由NVIDIA Lightspeed Studios艺术团队创作的拉面店场景,在虚幻引擎5的NVIDIA RTX分支(NvRTX 5.1)中运行。该场景使用RTX Direct Illumination(RTXDI)进行渲染,用于光线追踪照明和阴影,同时使用NVIDIA DLSS 3以获得最大性能。
 
游戏开发者已经在使用现有的NVIDIA生成式AI技术进行游戏开发:
 
欧洲领先的游戏开发商之一GSC Game World正在其即将推出的游戏《S.T.A.L.K.E.R. 2: Heart of Chornobyl》中采用Audio2Face。
 
独立游戏开发商Fallen Leaf也在Fort Solis中使用Audio2Face制作角色面部动画,这是一款发生在火星的第三人称科幻惊悚游戏。
 
以生成性人工智能为重点的公司,如Charisma.ai,正在利用Audio2Face为他们的对话引擎提供动画。