上海交大&阿里巴巴推出虚拟试衣新里程碑式工作——AnyFit：任意场景、任意组合！

摘要

本文介绍了一种新型虚拟试穿系统AnyFit，它通过使用轻量级的Hydra Block操作符和并行注意力机制，有效地处理不同场景下任意服装组合的挑战。该系统提高了模型在真实世界场景中的鲁棒性和表达能力，能够生成细节丰富且逼真的试穿图像。

主要贡献

AnyFit的主要贡献在于其创新的虚拟试衣范式，其中包括两个同构的U-Net：HydraNet和MainNet，HydraNet用于提取细粒度的服装特征，MainNet用于生成试穿效果。系统的可扩展性得益于Hydra编码块的并行化注意力矩阵，而稳健性则通过先验模型演化策略和自适应mask增强策略得到提升。

方法

AnyFit引入了HydraNet来编码服装信息，并通过Hydra融合块将HydraNet的特征无缝整合到MainNet中。系统还通过合并不同模型的残差和实施mask区域增强策略解决了现有虚拟试衣工作中的稳健性和质量问题。

实验

AnyFit在高清基准测试和实际数据上均显示出超越现有技术的能力，实验结果表明其在单件服装和多件服装任务中提供了优越的试穿质量，并在跨类别试穿中展现出鲁棒性。

结论与影响

AnyFit为实现逼真的试穿效果迈出了关键性的一步，提供了一种适用于任何场景下任意服装组合的新颖而强大的虚拟试穿解决方案。然而，作者也提醒这项技术可能被用于不当目的，强烈主张谨慎使用。

参考文献

[1] AnyFit: Controllable Virtual Try-on for Any Combination of Attire Across Any Scenario