HunyuanVideo-Foley

HunyuanVideo-Foley是什么？

HunyuanVideo‑Foley是腾讯混元团队开源的多模态视频拟音生成模型，可根据视频画面与文字描述自动生成高保真、精准同步的音效。采用多模态扩散变换器与表征对齐（REPA）技术，结合 Synchformer 时间对齐模块，实现音画逐帧匹配。支持短视频、影视后期、广告创意、游戏开发等多场景应用，生成媲美录音室质量的 48kHz 专业音效，让创作者高效完成沉浸式视听内容制作。

核心功能

1. 多场景音画同步：能识别复杂视频场景并生成与画面动作、节奏精准匹配的音效
2. 多模态语义平衡：同时理解视频画面和文字提示，避免只依赖单一模态生成
3. 高保真音频输出：自研 48kHz 音频 VAE，生成清晰度媲美专业录音室
4. SOTA 性能：在音质、画面语义对齐、时间同步等多项指标上超越现有开源方案
5. 技术架构亮点

• 多模态 Transformer + 单模态 Transformer 混合架构
• Synchformer 时间对齐模块，保证音效与画面逐帧同步
• 完整数据清洗与构建流程，确保训练数据高质量

应用场景

• 影视后期：为电影、电视剧自动生成环境音、动作音
• 短视频创作：快速配出脚步声、关门声、自然环境音等
• 广告制作：根据画面节奏生成契合的音效氛围
• 游戏开发：为角色动作、场景变化自动生成音效

HunyuanVideo-Foley项目地址及使用教程 

项目官网：https://szczesnys.github.io/hunyuanvideo-foley/
GitHub仓库：https://github.com/Tencent-Hunyuan/HunyuanVideo-Foley
HuggingFace模型库：https://huggingface.co/tencent/HunyuanVideo-Foley
arXiv技术论文：https://arxiv.org/pdf/2508.16930
在线体验Demo：https://huggingface.co/spaces/tencent/HunyuanVideo-Foley

1. 环境与硬件要求

• 操作系统：Linux（官方主要支持）
• Python：3.8+
• CUDA：推荐 12.4 或 11.8
• 显存需求：推理约需 20GB，建议使用 ≥24GB 显存的 GPU（如 RTX 3090 / 4090）以保证稳定性能

2. 安装步骤

Step 1：克隆仓库

git clone https://github.com/Tencent-Hunyuan/HunyuanVideo-Foley
cd HunyuanVideo-Foley

Step 2：安装依赖

建议使用 Conda 创建独立环境：pip install -r requirements.txt

Step 3：下载预训练模型

从 Hugging Face 获取权重（需安装 git-lfs 或 huggingface-cli）：

# 方法一：git-lfs git clone https://huggingface.co/tencent/HunyuanVideo-Foley #
# 方法二：huggingface-cli huggingface-cli download tencent/HunyuanVideo-Foley

3. 推理使用

单视频生成音效

python3 infer.py \

–model_path PRETRAINED_MODEL_PATH_DIR \
–config_path ./configs/hunyuanvideo-foley-xxl.yaml \
–single_video 视频路径 \
–single_prompt “音效描述” \
–output_dir 输出目录

• –single_prompt 可输入音效需求，如 “footsteps on wooden floor”
• 输出为与视频逐帧同步的高保真音频文件

批量处理

准备一个 CSV 文件（包含视频路径与对应描述）：

python3 infer.py \
–model_path PRETRAINED_MODEL_PATH_DIR \
–config_path ./configs/hunyuanvideo-foley-xxl.yaml \
–csv_path assets/test.csv \
–output_dir 输出目录

Web 交互界面

export HIFI_FOLEY_MODEL_PATH=PRETRAINED_MODEL_PATH_DIR
python3 gradio_app.py

运行后浏览器会打开本地 Gradio 界面，可直接上传视频并输入描述生成音效