MusePose

MusePose是一个由腾讯Lyra Lab开发的姿态驱动的图像到视频生成框架，专注于虚拟人类的生成。它能够在给定的姿态序列下，生成参考图像中的人类角色的舞蹈视频。这个框架使用了先进的扩散模型和姿态对齐算法，以生成与输入姿态高度匹配的平滑、逼真的动画。

腾讯在此之前有两个Muse项目MuseV和MuseTalk。

MuseV：是一个基于扩散的数字人视频生成框架，进一步扩展了虚拟内容的创作边界。它能够根据文本描述生成视频，或者将静态图像和姿势转换成动态视频。

MuseTalk：是一个在潜在空间中训练的实时高质量音频驱动的口型同步模型，它能够在潜在空间中对面部区域进行修改，以匹配输入的音频，支持多种语言，并实现每秒30帧以上的实时处理速度。

文章目录

Toggle

MuseTalk

MusePose是Muse开源系列的最后一个组件。与MuseV和MuseTalk结合，它可以实现端到端的虚拟人类生成，包括全身运动和互动能力。这个项目的目标是推动社区一起朝着虚拟人类能够被端到端生成并具有全身运动和交互能力的愿景前进。

主要功能特点

1. 图像到视频的生成：MusePose能够根据给定的姿态序列，生成参考图像中人物角色的舞蹈视频。
2. 扩散模型和姿态引导：它是一个基于扩散的、姿态引导的虚拟人视频生成框架。
3. 结果质量：生成的视频质量超过了几乎所有当前同主题的开源模型。
4. 姿态对齐算法：发布了姿态对齐算法，用户可以将任意舞蹈视频对齐到任意参考图像，这显著提高了推理性能并增强了模型的可用性。
5. 错误修复和改进：基于Moore-AnimateAnyone的代码，修复了几个重要的错误并进行了一些改进。

MusePose、MuseV和MuseTalk三个项目的设计初衷是为了协同工作，共同构建一个完整的虚拟人类生成解决方案。从动态捕捉到视觉内容的生成，再到声音与形象的完美融合，Muse系列项目为虚拟人物的创建提供了全方位的技术支持。