扫码阅读
手机扫码阅读
为合成目标找回丢失的影子!SGDiffusion:用Diffusion模型生成逼真阴影(上交)

我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。

AI生成未来
扫码关注公众号
摘要
研究背景:在图像合成中,逼真阴影的生成是一个难题。现有方法难以生成准确形状和强度的阴影,受限于数据稀缺和任务复杂性。为此,本文利用具有自然阴影图像先验的基础模型,通过ControlNet调整,引入强度调节模块,并扩展DESOBA数据集为DESOBAv2。
技术贡献:文章提出了一种新颖的基于扩散的阴影生成方法,包括以下贡献:
- 创造了大规模真实世界阴影生成数据集DESOBAv2。
- 开发了专为合成前景生成阴影的尖端扩散模型。
- 通过实验验证了数据集构建流程的有效性和提出模型的优越性。
技术创新:本文在ControlNet基础上构建了方法并提出了几项关键创新:
- 修改了控制编码器输入和噪声损失。
- 引入了强度编码器来调节前景阴影强度。
- 设计了后处理网络以纠正色彩偏移和背景变化。
数据集构建:通过新颖的数据构建流程将DESOBA扩展为DESOBAv2,使用对象阴影检测和修复技术,收集和处理了大量真实世界图像。
实验结果:在DESOBA和DESOBAv2数据集上的实验显示,模型在阴影生成任务上取得了显著改善,与现有方法相比,能生成更符合实际的阴影。
结论:本文所提出的基于扩散的阴影生成方法为合成前景生成合理阴影提供了一种有效途径,实现了在挑战性任务上的显著进步。
想要了解更多内容?

AI生成未来
扫码关注公众号
AI生成未来的其他文章
ECCV2024 | 小成本微调CLIP大模型!CLAP开源来袭:零样本和少样本训练有救了!
.点击下方卡片,关注“AI生成未来”>>后台回复?
文本和单图如何生成无缝的360度全景图像?
与普通的2D图像不同,360度全景图像捕捉整个360°×180?
ECCV`24 | 编辑能力无上限!北航&谷歌&旷视等开源Chat-Edit-3D: 3D 场景编辑新范式!
点击下方卡片,关注“AI生成未来”>>后台回复“
全面提升!上海交大等联合发布MegaFusion:无须微调的高效高分辨率图像生成方法
点击下方卡片,关注“AI生成未来”>>后台回复“
超燃!纯AI生成《泰坦尼克号》大片!浙大&阿里发布MovieDreamer:超长电影生成"梦工厂"
点击下方卡片,关注“AI生成未来”>>后台回复??
加入社区微信群
与行业大咖零距离交流学习


PMO实践白皮书
白皮书上线
白皮书上线