虚拟试衣&人像合成新SOTA！IMAGDressing-v1:ControlNet和IP-Adapter的最佳拍档

亮点直击

本文为商家引入了新的虚拟试衣任务，设计了综合亲和力测量指数（CAMI）评估图像与服装一致性，并提出IMAGDressing-v1模型，包含细粒度特征的服装UNet和混合注意力模块的去噪UNet。IMAGDressing-v1在各项评估指标上超过其他方法，并可与其他插件结合，增强图像多样性和可控性。此外，发布了大规模的互动服装配对（IGPair）数据集，包含超过30万对图像。

方法

IMAGDressing-v1主要由服装UNet组成，捕捉来自CLIP的语义特征和VAE的纹理特征。混合注意力模块替换了自注意力模块，整合服装特征和文本提示。IMAGDressing-v1还包括图像编码器和文本编码器，支持与ControlNet和IP-Adapter等插件结合，实现自定义生成。

实验

实验中，IMAGDressing-v1与多种最新方法进行比较，在所有评估指标上表现最佳。通过消融研究验证了图像编码器分支和混合注意力模块的有效性。超参数分析展示了在不同条件下保持服装特征的能力。此外，IMAGDressing-v1在虚拟试衣应用中展示了高保真度和可控性。

结论

本文提出的IMAGDressing-v1模型解决了现有虚拟试衣技术的局限，支持全面展示服装并灵活控制面部、姿势和场景。IMAGDressing-v1为虚拟试衣任务设置了新标准，并通过IGPair数据集推动了社区研究。

参考文献

• MAGDressing-v1: Customizable Virtual Dressing