
YuE简介
YuE是由香港科技大学开发的开源音乐生成模型,专注于从给定的歌词生成完整的音乐音频。YuE 支持多种音乐风格和语言,能够生成高质量的声乐和伴奏部分,适用于各种音乐创作需求。通过 YuE,用户可以轻松生成长达 5 分钟的完整歌曲,实现创意音乐制作。

YuE:香港科技大学推出的开源音乐生成模型
YuE的主要功能特点
- 全曲生成:YuE 能够生成长达 5 分钟的完整音乐音频,包括人声和伴奏部分。
- 歌词条件生成:YuE 在整个歌曲生成过程中跟踪歌词条件,保持音乐结构的连贯性。
- 多样化音乐风格:支持多种音乐风格,如爵士、流行、说唱、民谣等,提供丰富的音乐选择。
- 语音和声乐技巧:能够生成复杂的声乐技巧,如咆哮、混合声、即兴演唱等,使音乐更具表现力。
- 多语言支持:支持多种语言,包括英语、普通话、粤语、日语和韩语,满足不同语言需求。
- 灵活的技术应用:引入语义增强音频标记器、双标记技术和歌词链式思维等技术,实现高质量音乐生成。
- 三阶段训练方案:采用三阶段训练方案,确保音乐生成的可扩展性、音乐性和歌词可控性。
技术原理
YuE 的技术原理主要包括以下几个方面:
- 语义增强音频分词器:YuE 使用语义增强音频分词器来降低训练成本并加速收敛,更好地理解歌词的语义信息,与音乐信号相结合,生成更符合歌词内容的音乐。
- 双分词技术:YuE 提出了一种双分词技术,在不修改 LLaMa 解码器-only 架构的情况下实现音轨同步的声乐-乐器建模,确保两者在节奏和旋律上的协调性。
- 歌词链式思维生成:YuE 引入了歌词链式思维生成技术,支持模型在遵循歌词条件的情况下逐步生成整首歌曲,确保生成的歌曲在整体结构上保持连贯性。
- 三阶段训练方案:YuE 的训练方案分为三个阶段:基础模型训练、风格和情感对齐、偏好纠正,通过这些阶段确保生成的音乐更符合人类的审美标准。
这些技术使得YuE能够生成高质量、连贯且符合歌词内容的音乐,支持多种音乐风格和多语言。
YuE应用场景
音乐创作:音乐制作人可以利用YuE快速生成旋律和伴奏。
影视配乐:在电影、电视剧和短视频制作中,YuE可以为不同场景生成合适的背景音乐。
游戏开发:游戏开发者可以使用YuE生成游戏中的音乐,增强游戏的沉浸感。
教育和研究:音乐教育者和研究人员可以利用YuE进行音乐创作的教学和研究。
项目地址:https://map-yue.github.io/
GitHub:https://github.com/multimodal-art-projection/YuE
数据评估
关于YuE特别声明
本站新媒派提供的该工具内容都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由新媒派实际控制,在2025年2月9日 上午11:11收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,新媒派不承担任何责任。
与YuE相关工具

M2UGen是一个由腾讯和新加坡国立大学共同研发的多模态音乐生成模型,它具备音乐生成、理解和编辑的能力。具体来说,M2UGen可以接收文字、图片、视频或音频作为输入,然后生成与之相匹配的音乐。

盘古大模型
盘古大模型 3.0 是一个面向行业的AI大模型系列,包含自然语言、视觉、多模态、预测、科学计算大模型等五个基础大模型,可以为用户提供知识问答、文案生成、代码生成,以及多模态大模型的图像生成、图像理解等能力。

LTX Video
LTX Video是由 Lightricks公司推出的首个REAL-TIME AI视频生成开源模型。它基于 DiT (Diverse Image Transformer) 架构,能够实时生成高质量的视频。LTX Video 能够以 24 FPS 和 768x512 分辨率生成视频,生成速度比观看速度还要快。

Hibiki
Hibiki是一个Kyutai Labs开发的一个用于流式语音翻译(也称为同步翻译)的模型。与离线翻译不同,离线翻译需要等待源语句结束后才开始翻译,而 Hibiki 能够实时积累足够的上下文,以逐块生成正确的翻译。用户在讲话时,Hibiki 会在目标语言中生成自然的语音,并提供文本翻译。

SeedEdit
SeedEdit是一种由字节跳动(ByteDance)豆包团队推出的智能图像编辑模型。它通过自然语言指令简化了图像编辑过程,用户只需输入简单的描述语句,就能实现图像的调整、美化、转换等操作。

Loopy AI
Loopy是一个端到端音频驱动的视频生成模型,专注于生成逼真的头像动画。利用先进的 AI 技术和时间模块设计,Loopy 能够从音频中提取自然的运动模式,并生成高质量的动画效果。支持多种视觉和音频风格,适用于虚拟主播、动画制作等应用场景。

阿里云百炼
阿里云百炼是一个基于通义系列大模型和开源大模型的一站式大模型服务平台。旨在帮助企业和开发者快速构建、部署和应用大规模人工智能模型。它支持开箱即用的应用调用、大模型训练微调以及一站式在线灵活部署,能够满足多种AI应用场景的需求。

HelloMeme
HelloMeme 是一个专注于生成高保真图像和视频内容的开源AI 项目,特别是表情克隆技术。通过采用最新的 SD1.5 架构和空间编织注意力扩散模型,HelloMeme 可以轻松将一张图片的表情迁移到另一张图片或视频上,生成效果超越同类工具如 Liveportrait。HelloMeme 支持 ComfyUI 界面操作,非常适用于 AI 数字人、表情包制作和照片复活等领域,带来更自然细腻的表情效果。

ReSyncer
ReSyncer 是由清华大学、百度和南洋理工大学 S-Lab 实验室联合开发的多功能 AI 框架,专注于视频合成技术。它能够生成与音频高度同步的逼真口型视频,支持个性化调整、视频驱动口型同步、说话风格迁移和人脸交换。ReSyncer 在创建虚拟主持人、电影配音和多语言内容制作等领域具有广泛应用前景。

天工
「天工」是国内首个对标 ChatGPT 的双千亿级大语言模型,也是一个对话式AI助手。「天工」通过自然语言与用户进行问答交互,AI 生成能力可满足文案创作、知识问答、逻辑推演、数理推算、代码编程等多元化需求。

言犀
言犀是京东自营智能人机交互平台,助力企业服务数智化转型。以AI技术驱动,从文字、语音到多模态交互,从对话智能到情感智能,聚焦体验、效率与转化,旨在打造新一代智能人机交互平台,面向不同行业和客户场景助力企业服务和营销实现数智化转型升级。

Etna模型
Etna大模型是七火山科技推出的一个文生视频的AIGC模型,它能够根据简短的文本描述生成相应的视频内容。七火山科技发布的Etna文生视频模型支持生成视频时长达到8~15秒,每秒可达60帧,分辨率最高可达4K(3840*2160),画面细腻逼真。

InspireMusic
InspireMusic 是由阿里巴巴通义实验室推出的开源音乐生成框架,集成了多项音频领域的前沿研究成果,为开发者和研究者提供全面的音乐创作、风格转换和音效合成解决方案。该框架依托多模态大模型技术,支持通过文本描述或音频输入进行智能化创作,并提供完善的模型调优工具链。

光语大模型
光语大模型是无限光年公司推出的一款结合大语言模型与符号推理的 AI 大模型,融合视觉与语言处理技术,拥有 10 亿视觉模型参数和 130 亿语言模型参数。该模型在金融、医疗等垂直领域表现出色,通过灰盒可信技术确保输出的稳定性和可靠性,有效解决幻觉问题,提升推理精度和可信度。

光语金帆
光语金帆是由无限光年公司推出的金融大模型,结合了顶尖的人工智能技术和人才资源,旨在构建超越客户期望的人工智能生成内容(AIGC)产品组合,推动金融行业生产力和用户交互体验的全面提升,实现金融服务的智能化、公平化和普惠化。

魔搭ModelScope社区
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!
暂无评论...