腾讯的Lyra Lab团队最近新推出了一款非常牛的工具MusePose。是一款专为数字人类生成设计的图像到视频生成框架。该框架能够根据控制信号,如姿势,生成数字人物的视频,实现端到端的数字人类生成。
腾讯在此之前有两个Muse项目MuseV和MuseTalk。
MuseV:是一个基于扩散的数字人视频生成框架,进一步扩展了虚拟内容的创作边界。它能够根据文本描述生成视频,或者将静态图像和姿势转换成动态视频。
MuseTalk:是一个在潜在空间中训练的实时高质量音频驱动的口型同步模型,它能够在潜在空间中对面部区域进行修改,以匹配输入的音频,支持多种语言,并实现每秒30帧以上的实时处理速度。
开源地址:
生成亮点
姿态驱动生成视频:MusePose能够根据输入的姿态序列,生成与参考图像中人物动作一致的视频。它利用姿势作为控制信号,将一张张静止的人物图像转化为流畅的舞蹈视频。
姿态对齐算法:MusePose发布了一个姿态对齐算法,允许用户将任意舞蹈视频与任意参考图像对齐,这极大地提高了模型的推理性能和可用性。
端到端数字人生成:MusePose的愿景是实现一个完整的数字人类生成流程,从动作到语音,提供全身运动和交互的能力。
MusePose、MuseV和MuseTalk三个项目的设计初衷是为了协同工作,共同构建一个完整的虚拟人类生成解决方案。从动态捕捉到视觉内容的生成,再到声音与形象的完美融合,Muse系列项目为虚拟人物的创建提供了全方位的技术支持。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...