Hallo

Hallo 是一个由复旦大学、百度公司、苏黎世联邦理工学院和南京大学共同推出的开源项目。这个项目专注于AI对口型人脸视频生成技术，利用扩散模型来实现端到端的高质量人脸视频生成。用户只需提供一段音频和所选人像，即可轻松制作出具有极高真实感的人脸视频。

它利用人工智能技术，让图片中的人物能够根据语音的变化做出相应的面部表情和嘴唇动作。传统的方法通常使用参数模型来表示面部动作，但Hallo采用了一种新颖的方法，即端到端扩散范式。这意味着它不再依赖于中间的面部表示模型，而是直接从语音输入生成面部动画。

研究者们还开发了一个分层的音频驱动视觉合成模块，这个模块可以更精确地对齐语音输入和视觉输出，包括嘴唇、表情和姿势的动作。他们提出的网络架构结合了基于扩散的生成模型、UNet-based去噪器、时间对齐技术和参考网络。这种分层音频驱动视觉合成提供了对表情和姿势多样性的适应性控制，使得个性化定制变得更加有效。

Hallo的主要功能特点

1. 端到端人脸视频生成：Hallo利用扩散模型实现了端到端的高质量人脸视频生成。用户只需提供一段音频和所选人像，即可轻松制作出具有极高真实感的人脸视频。
2. 分层音画特征融合：在音画交叉注意力过程中，Hallo采用了分层交叉注意力操作，针对不同区域分别提取掩码特征。通过辅助交叉注意力模块与音频特征融合，从而学习到不同区域的运动特征，如嘴唇、面部和头部的掩码。
3. 不同人脸特征的控制能力：Hallo系统的分层音频-视觉注意力机制具有将音频特征与图像的不同区域进行融合对齐的能力，从而提升口型、表情和姿势的精准度和自然度，并提供全局运动的可控性。
4. 大规模数字人视频数据集：Hallo利用了大量高质量的数字人视频数据集进行训练。为了解决数据质量参差不齐的问题，研发团队构建了一套自动化数字人视频清洗引擎，成功清洗了数千小时的高质量数字人视频。
5. 全局运动可控性：相较于以往方法中需要借助参数化模型控制人脸运动强度，Hallo利用分层面部特征注意力机制，通过调整三个区域的权重系数，能针对性地控制口型、表情和动作的运动强度，从而大幅提升人脸动画生成的可控性。

应用场景

1. 娱乐产业：Hallo可以用于制作电影、电视剧和短视频中的角色动画，提高制作效率和动画质量，同时降低成本。
2. 游戏和虚拟现实：在游戏和虚拟现实应用中，AI驱动的角色动画可以为用户提供更加沉浸式的体验，增强用户的沉浸感和参与感。
3. 教育领域：AI数字人可以用于教学视频和活动，为弱势人群设计更具包容性和可访问性的教学方法，通过多感官交互增加学习的直观性和互动性。
4. 影视制作：Hallo展示了在影视制作领域的巨大潜力，通过仅有一段电影对白和一个虚拟角色，可以让虚拟角色生动演绎经典电影场景。
5. 个性化内容创作：Hallo的技术可以用于创建个性化的视频内容，如歌唱动画或跨演员表现，提供新的创意空间和商业机会。