LivePortrait – 快手推出的开源人像动画生成框架

LivePortrait是什么

LivePortrait是快手推出的开源人像动画生成框架，专注于高效、可控地将驱动视频的表情和姿态迁移至静态或动态人像，创造出富有表现力的视频。该技术通过隐式关键点框架实现，利用大规模高质量训练数据和混合训练策略，提升了模型的泛化能力和动作控制精度。LivePortrait在RTX 4090 GPU上的单帧生成速度极快，达到12.8毫秒，且具有进一步优化潜力。开源社区对其反响热烈，LivePortrait的GitHub页面提供了详细的使用指南和资源。

LivePortrait的主要功能

• 表情和姿态迁移：LivePortrait能够将驱动视频中的表情和姿态实时迁移到静态或动态人像上，生成具有丰富表情的视频。
• 高效率：该框架在RTX 4090 GPU上单帧生成速度可达12.8毫秒，展现出极高的处理速度。
• 泛化能力：通过视频-图片混合训练策略和大规模高质量训练数据，LivePortrait具备良好的泛化性，能够适应不同风格和身份的人像。
• 可控性：利用隐式关键点和轻量级MLP网络，LivePortrait增强了对动画生成过程的控制能力。
• 多风格支持：LivePortrait能够处理多种风格的人像，包括真人和风格化（如动漫）人像。
• 高分辨率动画生成：LivePortrait支持生成高分辨率的动画，提供更清晰的视觉效果。
• 贴合和重定向模块：设计了贴合模块和眼部、嘴部重定向模块，以适应裁切、多人合照等复杂场景，避免像素错位。

LivePortrait的技术原理

• 基础模型训练：在第一阶段，主要对外观提取器、运动提取器、扭曲模块和解码器进行优化，模型都是从头开始训练的。
• 拼接和重定向模块训练：在第一阶段训练好基础模型后，会冻结外观提取器、运动提取器、扭曲模块和解码器，在第二阶段保持不变。在第二阶段，仅对拼接模块和重定向模块进行优化。
• 视频-图像混合训练：LivePortrait 将每张图片视为一帧视频片段，并同时在视频和图片上训练模型，提升模型的泛化能力。
• 升级的网络结构：LivePortrait 将规范隐式关键点估计网络、头部姿态估计网络和表情变形估计网络统一为一个单一模型，并采用ConvNeXt-V2-Tiny为其结构，直接估计输入图片的规范隐式关键点、头部姿态和表情变形。
• 关键点引导的隐式关键点优化：引入2D关键点来捕捉微表情，用关键点引导的损失作为隐式关键点优化的引导。
• 级联损失函数：采用face vid2vid的隐式关键点不变损失、关键点先验损失、头部姿态损失和变形先验损失，并施加感知和GAN损失，提升纹理质量。

LivePortrait的项目地址

• 项目官网：https://liveportrait.github.io/
• GitHub仓库：https://github.com/KwaiVGI/LivePortrait
• Hugging Face模型库：https://huggingface.co/spaces/KwaiVGI/LivePortrait
• arXiv技术论文：https://arxiv.org/pdf/2407.03168

LivePortrait的应用场景

• 社交媒体内容创作：用户可将自己的照片或视频转换成动态内容，用于社交媒体平台，增加互动性和吸引力。
• 虚拟主播和直播：用LivePortrait技术，可以创建虚拟形象进行直播或视频制作，无需真人出镜，适用于游戏直播、教育讲解等场景。
• 影视和动画制作：在影视后期制作中，LivePortrait可用于角色的表情捕捉和动画生成，提高制作效率，降低成本。
• 广告和营销：企业可以用LivePortrait技术制作吸引人的广告视频，动态的人物形象来吸引潜在客户的注意力。