为合成目标找回丢失的影子！SGDiffusion：用Diffusion模型生成逼真阴影（上交）

摘要

研究背景：在图像合成中，逼真阴影的生成是一个难题。现有方法难以生成准确形状和强度的阴影，受限于数据稀缺和任务复杂性。为此，本文利用具有自然阴影图像先验的基础模型，通过ControlNet调整，引入强度调节模块，并扩展DESOBA数据集为DESOBAv2。

技术贡献：文章提出了一种新颖的基于扩散的阴影生成方法，包括以下贡献：

• 创造了大规模真实世界阴影生成数据集DESOBAv2。
• 开发了专为合成前景生成阴影的尖端扩散模型。
• 通过实验验证了数据集构建流程的有效性和提出模型的优越性。

技术创新：本文在ControlNet基础上构建了方法并提出了几项关键创新：

• 修改了控制编码器输入和噪声损失。
• 引入了强度编码器来调节前景阴影强度。
• 设计了后处理网络以纠正色彩偏移和背景变化。

数据集构建：通过新颖的数据构建流程将DESOBA扩展为DESOBAv2，使用对象阴影检测和修复技术，收集和处理了大量真实世界图像。

实验结果：在DESOBA和DESOBAv2数据集上的实验显示，模型在阴影生成任务上取得了显著改善，与现有方法相比，能生成更符合实际的阴影。

结论：本文所提出的基于扩散的阴影生成方法为合成前景生成合理阴影提供了一种有效途径，实现了在挑战性任务上的显著进步。

想要了解更多内容？

查看原文：为合成目标找回丢失的影子！SGDiffusion：用Diffusion模型生成逼真阴影（上交）

文章来源：

AI生成未来

扫码关注公众号

【案例】我们运营团队在跑迭代，还跑了226期？（流程篇）

了解更多