ID-Animator – 腾讯等推出的个性化人物视频生成框架

0 2

ID-Animator是什么

ID-Animator是由来自腾讯光子工作室、中科大和中科院合肥物质科学研究院的研究人员推出的一种零样本（zero-shot）人类视频生成技术，能够根据单张参考面部图像生成个性化视频，同时保留图像中的人物身份特征，并能够根据文本提示调整视频内容。该框架通过结合预训练的文本到视频扩散模型和轻量级面部适配器，实现了高效的视频生成，且无需针对特定身份进行额外的训练。ID-Animator通过构建专门的数据集和采用随机面部参考训练方法，提高了视频的身份保真度和生成质量。

ID-Animator的主要功能

修改视频角色（Recontextualization）： ID-Animator能够根据提供的参考图像和文本，改变视频中角色的上下文信息。例如，可以通过文本提示调整角色的发型、服装、背景，甚至执行特定动作，从而创造出全新的角色背景故事。
年龄和性别修改（Age and Gender Alteration）：该模型能够根据需要对视频中角色的年龄和性别进行调整，以适应不同的视频内容和风格需求。如生成年轻人像变老、男生变女生的视频。
身份混合（Identity Mixing）： ID-Animator能够混合两个不同身份的特征，按照不同的比例生成具有综合特征的视频，这在创造新的角色或混合现实中的人物特征时非常有用。
与ControlNet的结合： ID-Animator可与ControlNet等现有精细条件模块兼容，通过提供单帧或多帧控制图像，可以生成与控制图像紧密结合的视频序列，这在生成特定动作或场景的视频时非常有用。
社区模型集成： ID-Animator还能够与社区模型（如Civitai上的模型）集成，即使没有在这些模型上进行过训练，也能有效地工作，保持了面部特征和动态生成的稳定性。

ID-Animator的官网入口

官方项目主页：https://id-animator.github.io/
arXiv研究论文：https://arxiv.org/abs/2404.15275
GitHub源代码：https://github.com/ID-Animator/ID-Animator

ID-Animator的工作原理

预训练的文本到视频扩散模型：ID-Animator使用一个预训练的文本到视频（Text-to-Video, T2V）扩散模型作为基础，该模型能够根据文本提示生成视频内容。
面部适配器（Face Adapter）：为了生成与特定身份一致的视频，ID-Animator引入了一个轻量级的面部适配器。这个适配器通过学习面部潜在查询来编码与身份相关的嵌入信息。
身份导向的数据集构建：研究者构建了一个面向身份的数据集，这包括解耦的人类属性和动作字幕技术，以及从构建的面部图像池中提取的面部特征。
随机面部参考训练方法：ID-Animator采用随机采样的面部图像进行训练，这种方法有助于将与身份无关的图像内容与与身份相关的面部特征分离，从而使适配器能够专注于学习与身份相关的特征。
文本和面部特征的融合：ID-Animator将文本特征和面部特征结合在一起，通过注意力机制（Attention Mechanism）进行融合，以生成既符合文本描述又保留身份特征的视频。
生成过程：在生成视频时，ID-Animator首先接收一个参考面部图像和相应的文本提示。面部适配器将参考图像的特征编码为嵌入，然后将这些嵌入与文本特征一起输入到扩散模型中，最终生成视频。
优化和训练：为了提高模型的性能，ID-Animator的训练过程包括使用随机面部图像作为参考，以减少参考图像中与身份无关特征的影响，并通过分类器自由引导（Classifier-Free Guidance）等技术优化视频生成质量。
兼容性和扩展性：ID-Animator设计为与多种预训练的T2V模型兼容，如AnimateDiff，这使得它可以轻松地集成到现有的系统中，并在不同的应用中进行扩展。