MimicBrush – 阿里等开源的AI图像编辑融合框架

0 2

MimicBrush是什么

MimicBrush是由阿里巴巴、香港大学和蚂蚁集团的研究人员推出的AI图像编辑融合框架，允许用户通过简单的操作，在源图像上指定需要编辑的区域，并提供一个包含期望效果的参考图像进行图片编辑。MimicBrush能够自动识别和模仿参考图像中的视觉元素，将其应用到源图像的相应区域，支持如对象替换、样式转换、纹理调整等图像编辑操作。该技术特别适用于产品定制、角色设计和特效制作等场景，极大地简化了传统图像编辑的复杂流程，提高了编辑效率和灵活性。

MimicBrush的功能特色

参考图像模仿：用户在源图像上圈定希望编辑的特定区域，提供一张包含所需样式或对象的参考图像。MimicBrush便能分析并模仿参考图像中的特定视觉特征，将这些特征无缝应用到源图像的指定区域，实现风格或内容的一致性。
自动区域识别：MimicBrush利用先进的图像识别技术可自动检测和确定编辑区域。用户无需手动绘制遮罩或进行繁琐的选择，简化了编辑前的准备工作。
一键编辑应用：用户只需点击一个按钮，即可启动编辑过程。MimicBrush将自动执行从区域识别到特征模仿的整个编辑流程，编辑操作变得快速且用户友好，无需多步操作。
多样化编辑效果：支持对象替换，如将一种物体替换为另一种物体；可实现样式转换，比如改变服装的图案或颜色。还能进行纹理调整，如将一种材质的纹理应用到另一物体表面。
实时反馈：在编辑过程中，MimicBrush提供即时的预览功能。用户可以实时看到编辑效果，及时进行调整和优化，确保了编辑结果更符合用户的预期和需求。
灵活性和适应性：MimicBrush能够适应不同的图像内容，包括复杂场景和多样风格，提供多种编辑选项，使用户能够根据个人喜好进行个性化调整。

MimicBrush的官网入口

官方项目主页：https://xavierchen34.github.io/MimicBrush-Page/
GitHub代码库：https://github.com/ali-vilab/MimicBrush
Hugging Face Demo：https://huggingface.co/spaces/xichenhku/MimicBrush
ModelScope模型：https://www.modelscope.cn/models/xichen/MimicBrush/summary
arXiv技术论文：https://arxiv.org/abs/2406.07547

MimicBrush的技术原理

自我监督学习：MimicBrush通过自我监督的方式进行训练，利用视频帧之间的自然一致性和视觉变化。在训练过程中，系统随机选择视频中的两帧，一帧作为源图像，另一帧作为参考图像，学习如何使用参考图像的信息来补全源图像中被遮罩的部分。
双扩散UNets结构：MimicBrush采用了两个UNet网络，即“imitative U-Net”和“reference U-Net”。这两个网络分别处理源图像和参考图像，并通过共享注意力层中的键（keys）和值（values）进行信息交互，帮助系统定位参考图像中与源图像编辑区域相对应的部分。
注意力机制：在MimicBrush中，参考U-Net提取的注意力键和值被注入到模仿U-Net中，这种机制有助于模仿U-Net更准确地完成遮罩区域的生成，确保生成的区域与源图像的背景和其他元素和谐地融合。
数据增强：为了增加源图像和参考图像之间的变化性，MimicBrush在训练过程中应用了强烈的数据增强技术，包括颜色抖动、旋转、缩放和翻转等，以提高模型对不同姿态、光照和视角下图像的泛化能力。
遮罩策略：MimicBrush采用了一种智能的遮罩策略，通过SIFT特征匹配来确定源图像中的关键区域，并增加这些区域被遮罩的可能性，从而促使模型学习如何从参考图像中找到并模仿更有意义的视觉元素。
深度模型：MimicBrush还利用深度模型来预测源图像的深度图，作为形状控制的可选条件，这使得MimicBrush能够在纹理转移任务中保持源对象的形状，同时仅将参考图像的纹理或图案应用到源对象上。
评估基准：为了全面评估MimicBrush的性能，研究人员构建了一个包含部分合成和纹理转移任务的高质量基准，涵盖了多种实际应用场景，如时尚、产品设计等。