腾讯推出数字人生成工具MusePose，姿态驱动生成视频

腾讯的Lyra Lab团队最近新推出了一款非常牛的工具MusePose。是一款专为数字人类生成设计的图像到视频生成框架。该框架能够根据控制信号，如姿势，生成数字人物的视频，实现端到端的数字人类生成。

腾讯在此之前有两个Muse项目MuseV和MuseTalk。

MuseV：是一个基于扩散的数字人视频生成框架，进一步扩展了虚拟内容的创作边界。它能够根据文本描述生成视频，或者将静态图像和姿势转换成动态视频。

MuseTalk：是一个在潜在空间中训练的实时高质量音频驱动的口型同步模型，它能够在潜在空间中对面部区域进行修改，以匹配输入的音频，支持多种语言，并实现每秒30帧以上的实时处理速度。

MuseTalk是由腾讯推出的一个实时的高质量音频驱动唇形同步模型，能够根据输入的音频信号自动调整数字人物的面部图像，使其唇形与音频内容高度同步，支持多种语言，并实现每秒30帧以上的实时处理速度。这意味着观众可以看到数字人物的口型与声音完美匹配的效果。

开源地址：

姿态驱动生成视频：MusePose能够根据输入的姿态序列，生成与参考图像中人物动作一致的视频。它利用姿势作为控制信号，将一张张静止的人物图像转化为流畅的舞蹈视频。

姿态对齐算法：MusePose发布了一个姿态对齐算法，允许用户将任意舞蹈视频与任意参考图像对齐，这极大地提高了模型的推理性能和可用性。

端到端数字人生成：MusePose的愿景是实现一个完整的数字人类生成流程，从动作到语音，提供全身运动和交互的能力。

MusePose、MuseV和MuseTalk三个项目的设计初衷是为了协同工作，共同构建一个完整的虚拟人类生成解决方案。从动态捕捉到视觉内容的生成，再到声音与形象的完美融合，Muse系列项目为虚拟人物的创建提供了全方位的技术支持。

文章版权归作者所有，未经允许请勿转载。