扫码阅读
手机扫码阅读
ICML 2024 | 矛与盾的较量!北大提出提示无关数据防御保护算法PID
81 2024-10-25
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
文章来源:
AI生成未来
扫码关注公众号
亮点直击
本文发现提示不匹配可能削弱数据保护算法有效性,探讨利用视觉编码器强化数据保护,并提出一种新算法PID,有效应对不同训练算法、数据集和自适应攻击。
研究问题与实验设置
研究问题包括:提示不匹配对防御算法有效性的影响,像素空间扰动如何影响视觉编码器输出,以及如何提升保护鲁棒性。实验使用CelebA-HQ数据集和Stable Diffusion模型,采用FSGM和ASPL防御方法,度量标准包括人脸检测分数和图像质量评估。
解决方案与验证
通过实证观察,本文提出的PID算法显示出对多样化微调提示的鲁棒性。在测试防御方法时,PID单独作为防御出现显著的保护效果,且计算资源需求较少。
扰动视觉编码器对微调过程的影响
本文通过操纵潜在分布的统计量(均值和方差),显著影响微调结果。通过设计合适的优化目标,证实可以有效操纵潜在分布。
独立于提示的防御机制(PID)
结合影响均值和方差的优势,提出的PID防御目标实现有效的数据保护,并与现有防御策略整合,提升了鲁棒性和转移性。
实验结果
PID在不同数据集和微调方法中表现出色,甚至优于需要更多计算资源的现有防御方法。PID与现有算法混合后增强了鲁棒性,并在面对自适应攻击和数据损坏时展现出良好的抵御能力。
结论
本文提出的PID算法对抗潜在扩散模型的数据保护具有重要意义,其提示无关的特性能有效保护数据免受滥用。
上述HTML内容提供了一个关于原始文章的摘要,其中包含了研究的关键点和实验结果。摘要遵循了原始文章的结构,以便于理解和检索重要信息。想要了解更多内容?
文章来源:
AI生成未来
扫码关注公众号
AI生成未来的其他文章
ECCV`24 | 首次解决文本到3D NeRFs分解问题!港中文等提出DreamDissector
点击下方卡片,关注“AI生成未来”>>后台回复“
视频生成领域第一个World Model来了!WorldDreamer:视频生成任务的通用模型
关注【AI生成未来】公众号,回复“GAI”,免费获取??
突破性进展!只需单张参考图,完美仿写各种手写内容!华南理工等开源One-DM
点击下方卡片,关注“AI生成未来”作者:Gang Dai等
??
一文详解大语言模型的流行架构与训练技术
点击下方卡片,关注“AI生成未来”>>关注【AI生
一文详解多模态智能体(LMAs)最新进展(核心组件/分类/评估/应用)
击下方卡片,关注“AI生成未来”>>后台回复“GAI
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设
白皮书上线