Boximator

Boximator是字节跳动推出的一款利用深度学习技术进行视频合成的先进工具。它使用文本提示和额外的盒子约束来生成丰富且可控制的视频运动，从而为用户创造独特的视频场景提供了灵活的运动控制。具体来说，Boximator可以通过文本精准控制生成视频中人物或物体的动作，能生成包含多个角色以及特定类型运动的复杂场景，并能精确生成物体和背景的细节。

硬框可精确定义目标对象的边界框。用户可以在图片中画出感兴趣的对象，Boximator会将其视为硬框约束，在之后的帧中精准定位该对象的位置。

软框定义一个对象可能存在的区域，形成一个宽松的边界框。对象需要停留在这个区域内，但位置可以有一定变化，实现适度的随机性。

两类框都包含目标对象的ID，用于在不同帧中跟踪同一对象。此外，框还包含坐标、类型等信息的编码。

不过，据字节跳动相关人士称，Boximator是视频生成领域控制对象运动的技术方法研究项目，目前还无法作为完善的产品落地，距离国外领先的视频生成模型在画面质量、保真率、视频时长等方面还有很大差距。

适用人群或场景：短视频创作者、影视制作

论文地址: https://arxiv.org/abs/2402.01566

项目地址: https://boximator.github.io/

Boximator的视频介绍：

Boximator的功能特点

1. 强大的视频合成能力：Boximator利用深度学习技术，结合文本提示和盒子约束，能够生成丰富且可控的视频运动。这种技术使得用户能够创造独特的视频场景，满足多样化的创作需求。
2. 灵活的运动控制：与其他视频合成工具相比，Boximator提供了更为灵活的运动控制。用户可以通过文本提示和盒子约束，精确地控制视频中的对象运动，从而创造出更具个性和创意的视频内容。
3. 定制化的视频内容生成：Boximator特别适用于需要定制视频内容的个人和企业。用户只需提供图像和详细的文本提示，Boximator便能生成符合要求的定制视频运动，满足各种特定的创作需求。
4. 适用于多种领域：无论是广告制作、教育培训还是娱乐产业等领域，Boximator都能发挥出色的作用。它可以帮助用户创建出具有吸引力和创意的视频内容，提升品牌形象或教学效果。
5. 先进的技术支持：Boximator采用先进的深度学习技术，确保在视频合成过程中能够生成高质量的图像和流畅的视频运动。同时，它还具备较高的性能表现，可以处理大规模的视频数据和复杂的合成任务。

Boximator的使用方法

Boximator是一个由字节跳动研究团队开发的视频合成工具，它可以根据文本提示生成丰富且可控的动作视频。以下是使用Boximator的基本步骤：

1. 选择文本提示：开始时，你需要提供一个描述性的文本提示，这将指导Boximator生成视频中的动作和场景。
2. 设置框约束：Boximator允许用户通过文本提示衍生的框约束来进一步控制视频内容。
3. 生成视频：Boximator将使用其3D-U-Net架构来处理文本提示和框约束，生成视频。
4. 预览和调整：生成的视频可以预览，如果需要，可以进行进一步的调整以满足特定需求。

目前，Boximator的演示网站正在开发中，预计在未来2-3个月内上线。在此之前，你可以通过发送电子邮件到wangjiawei.424@bytedance.com来尝试Boximator。