
YuE简介
YuE是由香港科技大学开发的开源音乐生成模型,专注于从给定的歌词生成完整的音乐音频。YuE 支持多种音乐风格和语言,能够生成高质量的声乐和伴奏部分,适用于各种音乐创作需求。通过 YuE,用户可以轻松生成长达 5 分钟的完整歌曲,实现创意音乐制作。

YuE:香港科技大学推出的开源音乐生成模型
YuE的主要功能特点
- 全曲生成:YuE 能够生成长达 5 分钟的完整音乐音频,包括人声和伴奏部分。
- 歌词条件生成:YuE 在整个歌曲生成过程中跟踪歌词条件,保持音乐结构的连贯性。
- 多样化音乐风格:支持多种音乐风格,如爵士、流行、说唱、民谣等,提供丰富的音乐选择。
- 语音和声乐技巧:能够生成复杂的声乐技巧,如咆哮、混合声、即兴演唱等,使音乐更具表现力。
- 多语言支持:支持多种语言,包括英语、普通话、粤语、日语和韩语,满足不同语言需求。
- 灵活的技术应用:引入语义增强音频标记器、双标记技术和歌词链式思维等技术,实现高质量音乐生成。
- 三阶段训练方案:采用三阶段训练方案,确保音乐生成的可扩展性、音乐性和歌词可控性。
技术原理
YuE 的技术原理主要包括以下几个方面:
- 语义增强音频分词器:YuE 使用语义增强音频分词器来降低训练成本并加速收敛,更好地理解歌词的语义信息,与音乐信号相结合,生成更符合歌词内容的音乐。
- 双分词技术:YuE 提出了一种双分词技术,在不修改 LLaMa 解码器-only 架构的情况下实现音轨同步的声乐-乐器建模,确保两者在节奏和旋律上的协调性。
- 歌词链式思维生成:YuE 引入了歌词链式思维生成技术,支持模型在遵循歌词条件的情况下逐步生成整首歌曲,确保生成的歌曲在整体结构上保持连贯性。
- 三阶段训练方案:YuE 的训练方案分为三个阶段:基础模型训练、风格和情感对齐、偏好纠正,通过这些阶段确保生成的音乐更符合人类的审美标准。
这些技术使得YuE能够生成高质量、连贯且符合歌词内容的音乐,支持多种音乐风格和多语言。
YuE应用场景
音乐创作:音乐制作人可以利用YuE快速生成旋律和伴奏。
影视配乐:在电影、电视剧和短视频制作中,YuE可以为不同场景生成合适的背景音乐。
游戏开发:游戏开发者可以使用YuE生成游戏中的音乐,增强游戏的沉浸感。
教育和研究:音乐教育者和研究人员可以利用YuE进行音乐创作的教学和研究。
项目地址:https://map-yue.github.io/
GitHub:https://github.com/multimodal-art-projection/YuE
数据评估
关于YuE特别声明
本站新媒派提供的该工具内容都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由新媒派实际控制,在2025年2月9日 上午11:11收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,新媒派不承担任何责任。
与YuE相关工具

CatVTON是一款基于扩散模型的虚拟试穿技术工具,旨在提供高效、低资源需求的虚拟试穿体验。通过在空间维度上简单地拼接服装和人物图像来实现不同类别服装的虚拟试穿,该方法有效地降低了模型复杂度和计算成本,同时保持了高质量的虚拟试衣效果,特别适用于电商平台、时尚设计、个人造型顾问、增强现实应用和虚拟时装秀等场景。

Etna模型
Etna大模型是七火山科技推出的一个文生视频的AIGC模型,它能够根据简短的文本描述生成相应的视频内容。七火山科技发布的Etna文生视频模型支持生成视频时长达到8~15秒,每秒可达60帧,分辨率最高可达4K(3840*2160),画面细腻逼真。

FaceChain
FaceChain 是一款基于深度学习的工具,专注于生成个人数字形象。用户只需上传一张照片,FaceChain 即可在 10 秒内生成多种风格的个人写真。该工具支持自定义风格模型训练,兼容 ControlNet 和 LoRA 模型,广泛应用于虚拟现实、游戏设计和数字营销等领域。通过 FaceChain,用户可以轻松创建高度真实且可控的个人画像。

HoloDreamer
HoloDreamer是一款文本驱动的3D场景生成框架,通过用户的文本描述生成沉浸式且视角一致的完整3D场景。它由风格化全景生成和增强型全景重建两个核心模块组成,该框架首先生成高清晰度的全景图作为完整3D场景的整体初始化,然后利用3D高斯散射(3D-GS)技术快速重建3D场景,从而实现视角一致和完全封闭的3D场景生成。HoloDreamer在虚拟现实、游戏和影视行业中有广泛应用,为这些领域提供了新的解决方案。

昇思MindSpore
昇思MindSpore是由华为自研的一种适用于端边云场景的全场景深度学习框架,MindSpore提供了友好的设计和高效的执行,旨在提升数据科学家和算法工程师的开发体验,并为Ascend AI处理器提供原生支持,以及软硬件协同优化。

Mistral AI
Mistral AI 是一家来自法国的人工智能服务商,专注于大型语言模型和生成式人工智能的构建、培训和应用。Mistral AI 的目标是与 OpenAI 和 谷歌 竞争,为企业开发生成式人工智能基础设施。

MusiConGen
MusiConGen是一种基于Transformer的文本到音乐生成模型。它通过引入时间条件机制,显著提升了对音乐节奏和和弦的控制能力。该模型是在预训练的MusicGen-melody框架基础上进行微调的,主要用于生成各种风格的音乐片段。

智谱清流
智谱清流是智谱AI推出的企业级AI智能体开发平台,旨在帮助企业快速构建和部署AI应用,实现业务流程的智能化升级。该平台基于智谱全模型矩阵和先进的大模型技术(如GLM系列),提供了一整套工具和服务,支持多种集成方式,满足不同企业的智能化需求。

MotionGen
MotionGen 是由元象科技推出的创新 3D 动作生成模型。通过结合大模型、物理仿真和强化学习等前沿算法,简化 3D 动画制作过程。用户只需输入简单的文本指令,即可快速生成逼真、流畅且复杂的 3D 动作。无论是动画、游戏、电影还是虚拟现实行业,MotionGen 都能显著提高创作效率,降低制作成本。

Al Song Maker
AI Song Maker是一个AI歌曲和音乐生成器,可快速为您生成高质量原创歌曲或音乐。支持任何场景的文本到歌曲、歌词到歌曲以及纯音乐生成,可订制化编辑不同音乐风格节奏、情绪和乐器等,也可对音乐执行删除人声、音轨分离、混音功能,使音乐制作过程更加灵活和高效。

ClotheDreamer
ClotheDreamer 是一种基于 3D 高斯方法的工具,用于从文本提示生成可穿戴的、可生产的 3D 服装资产。由上海大学、上海交通大学、复旦大学和腾讯优图实验室共同推出。它采用了一种名为 Disentangled Clothe Gaussian Splatting (DCGS) 的新型表示方法,使得服装和人体模型可以分别优化。

商量拟人大模型
商量拟人大模型是商汤科技推出的一款AI拟人大模型,它支持个性化角色创建与定制、知识库构建、长对话记忆、多人群聊等功能,可实现行业领先的角色对话、人设及剧情推动能力。该模型广泛应用于情感陪伴、影视/动漫/网文IP角色、明星/网红/艺人AI分身、语言角色扮演游戏等拟人对话场景。

Ferret-UI
Ferret-UI是苹果公司与哥伦比亚大学研究团队联合发布的一个多模态AI大语言模型。它专为增强对移动端用户界面(UI)屏幕的理解而设计,具备引用、定位和推理功能。这个模型能够理解手机屏幕上的内容并执行任务,专注于移动端和用户交互。

UniVG
UniVG是百度推出的一种统一模态视频生成系统。它能够处理多种输入模态,如文本和图像,并生成与输入语义高度一致的视频。UniVG采用了多条件交叉注意力技术和偏置高斯噪声方法,以提高生成视频的质量和保留原始内容。

腾讯混元3D
腾讯混元3D,全称为 Hunyuan3D-1.0,是腾讯推出的首个同时支持文生和图生的3D开源模型,专门解决现有3D生成模型在生成速度和泛化能力方面的不足。该模型采用了基于Diffusion 技术的架构,能够同时支持文本生成和图像生成3D资产。

书生通用大模型
书生通用大模型是由上海人工智能实验室与商汤科技联合发布的大型预训练模型。它包括多个基础模型,如书生·多模态、书生·浦语和书生·天际等。这些模型旨在支持科研创新和产业应用,提供一个全链条开源的研发与应用平台。
暂无评论...