随着元宇宙概念的兴起,如何不断优化数字人模拟真人情感和行为细节成为行业重点研究课题。近日,由马上消费金融股份有限公司(下称“马上消费”)主办的2022届“天马杯”全国高校科技创新大赛中的2D数字人驱动、3D数字人驱动两大赛道将为提升元宇宙情感体验提供了更多可能。
据悉,2D数字人驱动赛道的赛题为“语音驱动数字人口型生成”,为了让数字人可能基于对文本语音的理解,有更真实的表情和口型表现力;3D数字人驱动赛道聚焦“视频驱动人脸生成”,为了通过视觉面部捕捉技术实时驱动数字人的面部,让数字人能真实还原真人表情,旨在通过赛题研究逐步探索让数字人表情更加丰富、细腻,口型与表达内容更加吻合的新路径。
针对两大赛题,马上消费将分别提供真人录制的音画同步短视频、真人录制的人脸短视频,以及相对应的参数供大赛参赛队伍使用,然后再将参赛结果与原始视频进行对比,差距越小得分可能就越高,进入决赛的可能性也就越大。
自元宇宙概念大热后,随之而来的是潮水般涌现的各种数字人,从时尚娱乐到文化商业,数字人全面开花,依托差异化特质在各类细分赛道中大显身手。如以静态渲染图片为主的时尚类数字人AYAYI,虚拟偶像初音未来、绊爱等歌舞类数字人等。而元宇宙世界对表情和口型提出了更高的要求,十分需要虚拟人“动起来”。
“天马杯”大赛设置两大赛道均聚焦视觉捕捉技术,是以新兴的计算机视觉技术为底层技术,较光学捕捉、惯性捕捉而言更简单易用、成本更低,加之PBR渲染技术还可以支撑虚拟人实时互动。作为人机交互的重要组成部分,表情和口型驱动已广泛用于游戏、电影、人机对话、虚拟主播;而面部、手势、肢体动作的视觉捕捉则可以大大降低普通人驱动数字人的门槛。
一直以来,马上消费持续探索科技前沿,在推动数字人产业发展方面具有先发优势。依托技术、人才、场景等优势,马上消费打造了数字人创作平台,通过输入文本就可以快速自动生成十分逼真的数字人说话视频;研发了实时交互数字人平台,具有形象配置、数字人动作、表情及话术配置、真人驱动等功能,带给用户更暖心的服务体验。
无论是从国家政策还是前沿技术发展趋势来看,元宇宙和数字人赛道将成为众多机构必争之地,前景广阔。这一重要时刻你也将有机会见证,还在等什么,赶紧加入“天马杯”大赛吧。