LivePortrait – 快手推出的开源人像动画生成框架

LivePortrait是什么

LivePortrait是快手推出的开源人像动画生成框架,专注于高效、可控地将驱动视频的表情和姿态迁移至静态或动态人像,创造出富有表现力的视频。该技术通过隐式关键点框架实现,利用大规模高质量训练数据和混合训练策略,提升了模型的泛化能力和动作控制精度。LivePortrait在RTX 4090 GPU上的单帧生成速度极快,达到12.8毫秒,且具有进一步优化潜力。开源社区对其反响热烈,LivePortrait的GitHub页面提供了详细的使用指南和资源。

LivePortrait

LivePortrait的主要功能

  • 表情和姿态迁移:LivePortrait能够将驱动视频中的表情和姿态实时迁移到静态或动态人像上,生成具有丰富表情的视频。
  • 高效率:该框架在RTX 4090 GPU上单帧生成速度可达12.8毫秒,展现出极高的处理速度。
  • 泛化能力:通过视频-图片混合训练策略和大规模高质量训练数据,LivePortrait具备良好的泛化性,能够适应不同风格和身份的人像。
  • 可控性:利用隐式关键点和轻量级MLP网络,LivePortrait增强了对动画生成过程的控制能力。
  • 多风格支持:LivePortrait能够处理多种风格的人像,包括真人和风格化(如动漫)人像。
  • 高分辨率动画生成:LivePortrait支持生成高分辨率的动画,提供更清晰的视觉效果。
  • 贴合和重定向模块:设计了贴合模块和眼部、嘴部重定向模块,以适应裁切、多人合照等复杂场景,避免像素错位。

LivePortrait的技术原理

  • 基础模型训练:在第一阶段,主要对外观提取器、运动提取器、扭曲模块和解码器进行优化,模型都是从头开始训练的。
  • 拼接和重定向模块训练:在第一阶段训练好基础模型后,会冻结外观提取器、运动提取器、扭曲模块和解码器,在第二阶段保持不变。在第二阶段,仅对拼接模块和重定向模块进行优化。
  • 视频-图像混合训练:LivePortrait 将每张图片视为一帧视频片段,并同时在视频和图片上训练模型,提升模型的泛化能力。
  • 升级的网络结构:LivePortrait 将规范隐式关键点估计网络、头部姿态估计网络和表情变形估计网络统一为一个单一模型,并采用ConvNeXt-V2-Tiny为其结构,直接估计输入图片的规范隐式关键点、头部姿态和表情变形。
  • 关键点引导的隐式关键点优化:引入2D关键点来捕捉微表情,用关键点引导的损失作为隐式关键点优化的引导。
  • 级联损失函数:采用face vid2vid的隐式关键点不变损失、关键点先验损失、头部姿态损失和变形先验损失,并施加感知和GAN损失,提升纹理质量。
LivePortrait

LivePortrait的项目地址

LivePortrait的应用场景

  • 社交媒体内容创作:用户可将自己的照片或视频转换成动态内容,用于社交媒体平台,增加互动性和吸引力。
  • 虚拟主播和直播:用LivePortrait技术,可以创建虚拟形象进行直播或视频制作,无需真人出镜,适用于游戏直播、教育讲解等场景。
  • 影视和动画制作:在影视后期制作中,LivePortrait可用于角色的表情捕捉和动画生成,提高制作效率,降低成本。
  • 广告和营销:企业可以用LivePortrait技术制作吸引人的广告视频,动态的人物形象来吸引潜在客户的注意力。
© 版权声明

相关文章

暂无评论

暂无评论...