HunyuanVideo-Foley
HunyuanVideo‑Foley是腾讯混元团队开源的多模态视频拟音生成模型，可根据视频画面与文字描述自动生成高保真、精准同步的音效。采用多模态扩散变换器与表征对齐（REPA）技术，结合 Synchformer 时间对齐模块，实现音画逐帧匹配。支持短视频、影视后期、广告创意、游戏开发等多场景应用，生成媲美录音室质量的 48kHz 专业音效，让创作者高效完成沉浸式视听内容制作。
JoyGen简介
JoyGen是由京东科技与香港大学合作开发的音频驱动 3D 说话人脸视频生成框架，采用一种新颖的两阶段框架。该技术通过音频输入驱动 3D 深度感知模型，实现精确的唇部与音频同步，以逼真模拟说话者的唇部动作和面部表情，生成高度真实的视频内容。JoyGen 主要应用于视频编辑和虚拟交互领域。
技术特点:
- 音频驱动唇部运动生成： JoyGen 使用 3D 重建模型和 audio2motion 模型，分别预测身份和表情系数，通过将音频特征与面部深度图结合，实现精确的唇部与音频同步。
- 视觉外观合成： 提供高质量的视觉外观合成，确保视频的视觉效果和唇部运动的自然性。
- 数据集支持： JoyGen 使用了一个包含 130 小时高质量视频的中文说话人脸数据集进行训练。该数据集与开放的 HDTF（高分辨率深度图数据集）结合，支持中文和英文输入。
- 情感表达： JoyGen 还考虑了音频的情绪特征，能够在生成的动画中自然地表现出人物的情感变化，例如微笑或皱眉等，使生成的视频更加生动和真实。
如何使用JoyGen：
- 环境搭建：用户需创建一个特定的conda环境，并安装必要的依赖包，包括Nvdiffrast等特定库。
- 预训练模型下载：获取JoyGen的预训练模型，包括3D模型、音频到运动模型等，这些资源通常在项目GitHub页面上提供。
- 运行推理：通过执行特定的脚本和参数，用户可以将音频文件转换为带有逼真唇部同步的3D说话人脸视频。
应用场景：
- 视频编辑：用于编辑和生成高质量的说话人脸视频，适用于各种视频制作和编辑需求。
- 虚拟主播：为虚拟主播提供精确的嘴唇同步和自然的面部表情。
- 教育和培训：用于制作教育视频和培训资料，提升视频内容的互动性和生动性。
通过这些功能，JoyGen 在说话人脸视频生成和编辑方面展现了强大的能力。
GitHub：https://github.com/JOY-MM/JoyGen
JoyGen – 音频驱动的3D深度感知说话人脸视频生成框架
JoyGen官网无法访问的常见原因及解决方案
如果你经常打不开JoyGen网站，最可能的原因有以下一些。别怕，还有办法帮助你顺利访问网站。
解决方案：采用自己手机的浏览器打开该网址，如Safari、Chrome等，而不是用微信或QQ的浏览器。
解决方案：通过其它浏览器可能打开，例如：iphone用户Safari，windows用户（微软），Edge。推荐独立浏览器：Alook浏览器、X 浏览器、VIA 浏览器等
解决方案：切换到其他网络环境（wifi、移动数据等）用网络加速器让访问更顺畅科学上网（如访问 google 网站）
关于JoyGen特别声明
本站新媒派提供的JoyGen内容都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由新媒派实际控制，在2025年2月16日 下午7:57收录时，该网页上的内容，都属于合规合法，后期网页的内容如有出现违规，可以直接联系网站管理员进行删除，新媒派不承担任何责任。
相关导航
Waver 1.0
Waver 1.0是 FoundationVision 推出的下一代通用视频生成基础模型，基于 Rectified Flow Transformer 架构，统一支持文本生成视频（T2V）、图像生成视频（I2V）与文本生成图像（T2I）。最高可生成 1080p 高分辨率视频，分辨率、宽高比与时长（2–10 秒）灵活可调；在 T2V 与 I2V 榜单均跻身前三，画质、运动幅度与时间一致性媲美商用方案。支持可控风格与质量、APG 伪影优化及 Cascade Refiner 高效升采样，适用于影视创意、游戏动画、教育科研等多场景。
MAI-Voice-1
MAI‑Voice‑1是Microsoft AI推出的高保真、富有表现力的语音生成模型，可在单张 GPU 上 1 秒生成 1 分钟音频，效率与音质兼备。支持单人及多人对话场景，语调自然、情感丰富，适用于播客、新闻播报、故事讲述、引导式冥想等多种场景。已应用于 Copilot Daily 与 Copilot Podcasts，并在 Copilot Labs 提供交互体验，让 AI 语音交互更自然、更有温度。
Xiaomi MiMo大模型
小米 MiMo大模型是小米大模型Core团队（由AI专家罗福莉领导）打造的系列化开源AI模型家族，核心定位为专为推理任务优化，以 “小参数大能力” 为特色，后续扩展出 MoE 架构、视觉、音频、具身智能等多个分支，全系列均采用开源策略。覆盖语言、视觉、音频、具身智能等多模态领域，专为推理、编码与智能体（Agent）场景打造，全系列采用MIT等友好开源协议，支持开发者二次开发与商业落地。
光语大模型
光语大模型是无限光年公司推出的一款结合大语言模型与符号推理的 AI 大模型，融合视觉与语言处理技术，拥有 10 亿视觉模型参数和 130 亿语言模型参数。该模型在金融、医疗等垂直领域表现出色，通过灰盒可信技术确保输出的稳定性和可靠性，有效解决幻觉问题，提升推理精度和可信度。
gpt-realtime
gpt‑realtime是OpenAI 推出的 生产级语音到语音 AI 模型，具备低延迟、高保真语音、多语言切换、复杂指令遵循与函数调用能力。结合 Realtime API，可直接处理音频、文本、图片输入，并支持远程 MCP 工具接入与 SIP 电话呼叫，适用于 AI 电话客服、智能语音助理、教育培训、销售咨询等场景。相比传统管道，gpt‑realtime 以单一模型实现端到端语音交互，响应更自然流畅。
Mini-Gemini
Mini-Gemini是一个简单而有效的框架，用于增强多模态视觉语言模型（VLMs），由中国香港中文大学和 SmartMore 的研究人员共同推出。Mini-Gemini支持一系列密集和MoE大型语言模型（LLMs），从2B到34B。为了增强视觉token，该框架建议在不增加视觉token数量的情况下，利用额外的视觉编码器进行高分辨率细化。同时，Mini-Gemini还构建了一个高质量的数据集，以促进精确的图像理解和基于推理的生成，从而扩大当前VLM的操作范围。
腾讯混元3D
腾讯混元3D，全称为 Hunyuan3D-1.0，是腾讯推出的首个同时支持文生和图生的3D开源模型，专门解决现有3D生成模型在生成速度和泛化能力方面的不足。该模型采用了基于Diffusion 技术的架构，能够同时支持文本生成和图像生成3D资产。
暂无评论...
