ExAvatar – Meta推出的3D数字形象生成模型

0 3

ExAvatar是什么

ExAvatar是DGIST和Meta公司Codec Avatars Lab联合推出的3D数字形象生成模型，通过简短视频克隆人像并转化为3D数字形象。支持手机扫描快速捕捉全身动作和表情，转化为逼真的3D模型。ExAvatar结合SMPL-X模型和3D高斯技术，实现高质量动态渲染，支持全身动画，减少伪影，提供自然流畅的体验。适用于动画、游戏和VR/AR等领域，简化了3D头像创建过程，拓宽了应用场景。

ExAvatar的主要功能

全身3D驱动：支持全身动作和表情的动画制作，包括身体、手部和面部。
混合表示法：结合3D高斯和表面网格技术，提高几何和外观的一致性，减少动画中的伪影。
便捷捕捉：使用手机扫描即可快速创建3D头像，操作简单。
高质量渲染：利用先进算法实现动态表现和视觉效果的高质量渲染。
技术优化：通过SMPL-X模型和多层感知器（MLP）处理，优化手部和面部的表现力和自然度。

ExAvatar的技术原理

SMPL-X全身参数化网格模型：ExAvatar采用了SMPL-X模型来捕捉人体的姿势和动作。SMPL-X是一个高度参数化的3D人体模型，能精确地模拟人体的各种姿态。
3D高斯溅射技术（3DGS）：用于提高渲染的真实性和效率，通过模拟光线在表面的散射，3D模型看起来更加逼真。
混合表示法：ExAvatar结合了3D高斯和表面网格，确保在不同姿势下的几何和外观一致性，减少新姿势下可能出现的伪影。
多层感知器（MLP）：用于处理每个高斯的特征，提取关键信息，并将这些信息与标准网格结合，形成可在标准空间中动画化的3D头像。
线性混合插值（LBS）算法：用于动画处理，通过这种方式，ExAvatar能生成平滑且自然的过渡动作。
关节偏移量和面部偏移量：在训练ExAvatar之前，研究团队对身体、手和面部进行了共同配准，并引入了这些偏移量来优化手部骨骼长度和面部区域形状，提升头像的表现能力和自然度。
基于连接的正则化器：减少新表情和姿势的伪影，通过预定义的连接性，确保3D高斯与SMPL-X的网格拓扑结构相匹配。