FramePack

FramePack是什么？

FramePack 是用神经网络的架构建构成的一个开源视频制作软件，是由斯坦福的同学们搭建出来的一款软件。它的主要创建人是 ControlNet 的作者张吕敏（被称为“赛博佛祖”），可以根据已知去预测未来的画面或者是截取中间帧的内容进行连续视频的生成，在比较长和复杂的动作上更加优秀。破解了老模型里面出现过的“忘记”的问题，画面丢失的情况，并且也适合大众的新媒体工作者、各路科学家、开发者们打造出属于自己的自动造就超长视频、出奇新思路作品的产品。

产品功能

• 图像转视频：图片变视频，用于创意展示。
• 文本转视频：通过输入文本描述生成对应的动态视频，支持长视频创作。
• AI 图像生成与增强：利用 AI 生成或加强用于视频生成的图像，从而提升生成视频的质量。
• 本地运行：支持在本地设备上运行，无需数据传输到云端，保障数据隐私。
• 多格式输出：可导出为 MP4、GIF 等多种格式，方便在不同平台分享。 

应用场景

• 视频创作：小视频博主一键快速制作动画，自媒体批量添加口播背景特效。
• 动画与游戏开发：独立开发者创作游戏过场动画，动画师制作复杂动作序列。
• 教育与商业：教育平台制作动态课件，电商生成商品 3D 展示视频。
• 个人娱乐：用户通过简单提示词生成个性化短视频（如二次元角色跳舞）。

操作示例

步骤1.上传起始帧：选择一张具代表性的起始图片，例如“男孩站立”。

步骤2.输入提示词：输入视频动态内容的描述提示，例如：“男孩顺滑一气呵成跳街舞，充满力量感的动态”。

步骤3.设定生成参数：调整视频时长、分辨率以及选择所需的LoRA风格。

步骤4.生成与导出：AI 会逐个生成视频，支持实时预览并导出为 GIF 或 MP4 格式。

相关问题

Q1：FramePack 如何在消费级 GPU 上运行？

A1: 借助多阶段优化以及固定长度输入格式，FramePack 可以在仅配备 6GB VRAM 的消费级 GPU 上跑通每一帧的视频生成。

Q2：FramePack 是开源的吗？

A2: 当然，FramePack 这项视频扩散技术是可以开放源代码，让更多的开发者、研究者访问这项代码。

Q3：什么是“遗忘漂移困境”？

A3: 其实这是一个生成视频的通病，模型生成到后面会忘记最开始的条件信息，导致生成的视频跑偏。FramePack 架构正是为了解决该问题而设计的。

Q4：我需要什么硬件来运行 FramePack？

A4: FramePack 好处在于它可以跑在普通过硬件上，一台只有 6GVRAM 的笔记本 GPU 都可以渲染出非常棒的视频；如果你需要更高的分辨率和更快的速度，请用更强的 GPU。

Q5：FramePack 相较于其他视频生成技术有什么优势？

A5: 上下文固定长度压缩和双向采样，可以让 FramePack 产出又长又好的编码视频，非常适合资源贫乏场景，让产生优质视频的工具普及开来。