腾讯推出数字人生成工具MusePose,姿态驱动生成视频

AI资讯5个月前发布 新媒派
540 0 0

腾讯的Lyra Lab团队最近新推出了一款非常牛的工具MusePose。是一款专为数字人类生成设计的图像到视频生成框架。该框架能够根据控制信号,如姿势,生成数字人物的视频,实现端到端的数字人类生成。

腾讯在此之前有两个Muse项目MuseV和MuseTalk。

MuseV:是一个基于扩散的数字人视频生成框架,进一步扩展了虚拟内容的创作边界。它能够根据文本描述生成视频,或者将静态图像和姿势转换成动态视频。

MuseTalk:是一个在潜在空间中训练的实时高质量音频驱动的口型同步模型,它能够在潜在空间中对面部区域进行修改,以匹配输入的音频,支持多种语言,并实现每秒30帧以上的实时处理速度。

开源地址:

生成亮点

姿态驱动生成视频:MusePose能够根据输入的姿态序列,生成与参考图像中人物动作一致的视频。它利用姿势作为控制信号,将一张张静止的人物图像转化为流畅的舞蹈视频。

姿态对齐算法:MusePose发布了一个姿态对齐算法,允许用户将任意舞蹈视频与任意参考图像对齐,这极大地提高了模型的推理性能和可用性。

端到端数字人生成:MusePose的愿景是实现一个完整的数字人类生成流程,从动作到语音,提供全身运动和交互的能力。

腾讯推出数字人生成工具MusePose,姿态驱动生成视频

MusePose、MuseV和MuseTalk三个项目的设计初衷是为了协同工作,共同构建一个完整的虚拟人类生成解决方案。从动态捕捉到视觉内容的生成,再到声音与形象的完美融合,Muse系列项目为虚拟人物的创建提供了全方位的技术支持。

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...