MagicTime

MagicTime是一个AI生成高质量的变化延时视频的模型，它可以展示物体随时间变化的过程，即“生长动画”。由北京大学、罗切斯特大学、新加坡国立大学、广东工业大学和加州大学圣克鲁斯分校共同开发，使用者只需提供文本描述变化过程，MagicTime便能自动生成高质量的变化视频，实现逼真的动态模拟。

其采用DiT-based架构，旨在解决现有文本到视频（T2V）生成模型未能充分捕捉现实世界的物理知识的痛点。MagicTime包括MagicAdapter、Dynamic Frames Extraction和Magic Text-Encoder三个主要组件，可以有效地从文本中理解变化过程并生成对应的视频。

MagicTime的主要功能特点

• 学习物理知识：从现有的时间延迟视频中学习，实现对新生成视频中变形的真实模拟。
• MagicAdapter方案：这一创新方法解耦空间和时间训练，使模型能够编码更多的物理知识，创建更高保真度和现实感的变形视频。
• 动态帧提取策略：适应广泛的变形时间延迟视频，确保变形过程的所有关键阶段都被有效表示。
• Magic Text-Encoder：改进的文本编码器帮助系统更好地理解和解释生成变形视频的提示。

我们看一下官方给的示例

MagicTime的强大功能来自于它的三个主要组件：

MagicAdapter：负责理解文本中的变化过程，并将其转化为视频中的动态框架。

Dynamic Frames Extraction：从大量的视频数据中提取出关键帧，形成视频的骨架。

Magic Text-Encoder：将文本描述编码成视频生成模型能够理解的语言。

通过这些组件的结合，MagicTime能够生成高质量的变化视频，这些视频不仅视觉上吸引人，而且能够准确地反映出时间的变化

MagicTime如何使用？

可以自行下载部署，官方给了详细的步骤。

下载部署:

git clone https://github.com/PKU-YuanGroup/MagicTime.git
cd MagicTimeconda create -n magictime python=3.10.13
conda activate magictime
pip install -r requirement.txt

下载模型:

sh prepare_weights/down_base_model.sh
sh prepare_weights/down_dreambooth.sh

准备模型:

sh prepare_weights/down_magictime_module.sh

除此之外，你也可以通过官方给的在线体验地址来感受。具体内容见下面链接

在线体验：https://huggingface.co/spaces/BestWishYsh/MagicTime

代码地址：https://github.com/PKU-YuanGroup/MagicTime

项目地址：https://pku-yuangroup.github.io/MagicTime/