ECCV`24 | 比DragDiffusion快100倍！RegionDrag：快·准·好的图像编辑方法！港大&牛津

文章摘要

亮点直击：介绍了RegionDrag，一种基于区域的图像编辑方法，用于克服基于点拖拽的局限性。此方法通过无梯度的复制粘贴操作实现快速图像编辑，并扩展了两个基于点拖拽的数据集以验证其有效性。

基于区域的图像编辑方法

RegionDrag允许用户通过定义操作区和目标区的方式提供编辑指示，减少模糊性并提高编辑速度。此方法引入了注意力交换技术来增强编辑的稳定性，并显示出速度、准确性和与用户意图对齐方面的优势。

编辑效果与流程

RegionDrag通过复制操作区的潜在表示并粘贴到目标位置来进行编辑，同时插入存储的自注意力特征以保持图像的身份。用户可以通过多边形或画笔工具定义操作区和目标区，利用区域到点映射算法建立密集映射，完成快速且精确的图像编辑。

实验结果

RegionDrag在保持图像一致性的同时，在不同数据集上实现竞争性编辑结果。它实现了快速推理速度，在1.5秒内编辑一个512×512的图像。定量评估使用LPIPS和平均距离(MD)指标，定性结果展示了RegionDrag优于传统点拖拽方法。

消融研究

点输入的稀疏性导致了较差的编辑结果，而基于区域的输入提供了更强的约束，从而改善了编辑质量。实验表明，随着使用点百分比的减少，MD结果明显上升，验证了区域输入的优势。

结论

RegionDrag是一个高效且有效的基于区域的编辑框架，适用于高保真图像编辑。它重新审视了编辑问题，并通过单步复制粘贴潜在表示和自注意力特征来实现编辑，显示了卓越的效率和性能。