扫码阅读
手机扫码阅读
ICML 2024 | 矛与盾的较量!北大提出提示无关数据防御保护算法PID
151 2024-10-25
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
文章来源:
AI生成未来
扫码关注公众号
亮点直击
本文发现提示不匹配可能削弱数据保护算法有效性,探讨利用视觉编码器强化数据保护,并提出一种新算法PID,有效应对不同训练算法、数据集和自适应攻击。
研究问题与实验设置
研究问题包括:提示不匹配对防御算法有效性的影响,像素空间扰动如何影响视觉编码器输出,以及如何提升保护鲁棒性。实验使用CelebA-HQ数据集和Stable Diffusion模型,采用FSGM和ASPL防御方法,度量标准包括人脸检测分数和图像质量评估。
解决方案与验证
通过实证观察,本文提出的PID算法显示出对多样化微调提示的鲁棒性。在测试防御方法时,PID单独作为防御出现显著的保护效果,且计算资源需求较少。
扰动视觉编码器对微调过程的影响
本文通过操纵潜在分布的统计量(均值和方差),显著影响微调结果。通过设计合适的优化目标,证实可以有效操纵潜在分布。
独立于提示的防御机制(PID)
结合影响均值和方差的优势,提出的PID防御目标实现有效的数据保护,并与现有防御策略整合,提升了鲁棒性和转移性。
实验结果
PID在不同数据集和微调方法中表现出色,甚至优于需要更多计算资源的现有防御方法。PID与现有算法混合后增强了鲁棒性,并在面对自适应攻击和数据损坏时展现出良好的抵御能力。
结论
本文提出的PID算法对抗潜在扩散模型的数据保护具有重要意义,其提示无关的特性能有效保护数据免受滥用。
上述HTML内容提供了一个关于原始文章的摘要,其中包含了研究的关键点和实验结果。摘要遵循了原始文章的结构,以便于理解和检索重要信息。想要了解更多内容?
文章来源:
AI生成未来
扫码关注公众号
AI生成未来的其他文章
击败SDXL登顶SOTA | CoMat:端到端的扩散模型微调策略(港中文/商汤/上海AI Lab)
点击下方卡片,关注“AI生成未来”>>后台回复“
我的年终总结报告有救了!7款好用的AI创作平台分享
年底将至,迎来了一年一度的年终总结大会,为了让?
重大突破!IDAdapter:首个无需微调,单张图像生成多样和个性化头像方案(北大&格灵深瞳)
点击下方卡片,关注“AI生成未来”>>后台回复“
勇夺三项SOTA!北航&爱诗科技联合发布灵活高效可控视频生成方法TrackGo!
点击下方卡片,关注“AI生成未来”>>后台回复“
为合成目标找回丢失的影子!SGDiffusion:用Diffusion模型生成逼真阴影(上交)
点击下方卡片,关注“AI生成未来”>>后台回复“
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设
白皮书上线