YuE

YuE是由香港科技大学开发的开源音乐生成模型，专注于从给定的歌词生成完整的音乐音频。YuE 支持多种音乐风格和语言，能够生成高质量的声乐和伴奏部分，适用于各种音乐创作需求。通过 YuE，用户可以轻松生成长达 5 分钟的完整歌曲，实现创意音乐制作。

YuE：香港科技大学推出的开源音乐生成模型

YuE的主要功能特点

• 全曲生成：YuE 能够生成长达 5 分钟的完整音乐音频，包括人声和伴奏部分。
• 歌词条件生成：YuE 在整个歌曲生成过程中跟踪歌词条件，保持音乐结构的连贯性。
• 多样化音乐风格：支持多种音乐风格，如爵士、流行、说唱、民谣等，提供丰富的音乐选择。
• 语音和声乐技巧：能够生成复杂的声乐技巧，如咆哮、混合声、即兴演唱等，使音乐更具表现力。
• 多语言支持：支持多种语言，包括英语、普通话、粤语、日语和韩语，满足不同语言需求。
• 灵活的技术应用：引入语义增强音频标记器、双标记技术和歌词链式思维等技术，实现高质量音乐生成。
• 三阶段训练方案：采用三阶段训练方案，确保音乐生成的可扩展性、音乐性和歌词可控性。

技术原理

YuE 的技术原理主要包括以下几个方面：

• 语义增强音频分词器：YuE 使用语义增强音频分词器来降低训练成本并加速收敛，更好地理解歌词的语义信息，与音乐信号相结合，生成更符合歌词内容的音乐。
• 双分词技术：YuE 提出了一种双分词技术，在不修改 LLaMa 解码器-only 架构的情况下实现音轨同步的声乐-乐器建模，确保两者在节奏和旋律上的协调性。
• 歌词链式思维生成：YuE 引入了歌词链式思维生成技术，支持模型在遵循歌词条件的情况下逐步生成整首歌曲，确保生成的歌曲在整体结构上保持连贯性。
• 三阶段训练方案：YuE 的训练方案分为三个阶段：基础模型训练、风格和情感对齐、偏好纠正，通过这些阶段确保生成的音乐更符合人类的审美标准。

这些技术使得YuE能够生成高质量、连贯且符合歌词内容的音乐，支持多种音乐风格和多语言。

YuE应用场景

音乐创作：音乐制作人可以利用YuE快速生成旋律和伴奏。

影视配乐：在电影、电视剧和短视频制作中，YuE可以为不同场景生成合适的背景音乐。

游戏开发：游戏开发者可以使用YuE生成游戏中的音乐，增强游戏的沉浸感。

教育和研究：音乐教育者和研究人员可以利用YuE进行音乐创作的教学和研究。

项目地址：https://map-yue.github.io/

GitHub：https://github.com/multimodal-art-projection/YuE