只需微调，大幅提升人脸生成质量！上交联合OPPO发布新标准和新方法

研究背景与目的

扩散模型（DMs）在根据文本描述生成图像方面取得成功，但在处理现实生活中复杂细节时，尤其是生成人脸时，表现不佳。这限制了DMs在实际应用中的使用。研究者们通过人类标注者评估了预训练DM生成的人脸质量，并对现有度量方法和人类判断之间的一致性进行了评估，开发了一种名为Face Score（FS）的新度量方法，并通过指导损失来微调DMs以改善人脸质量。

主要贡献

• 首次系统评估了DMs生成的人脸质量，提出了Face Score来更好地量化人脸质量。
• 开发了指导损失，并在SD1.5和RV5.1等DM上验证其在提高人脸质量的有效性。

研究发现与方法

对现有DMs生成的人脸进行人工评估发现质量不佳，其中RV5.1略优于SDXL，而SD1.5落后。现有度量方法如ImageReward和Face Quality Assessment与人类判断的一致性较低。为此，研究者们开发了Face Score，并构建了数据集来微调度量评估模型。在SD1.5和RV5.1上引入的指导损失成功推动了人脸质量的提升。

改进DMs生成人脸质量的微调方法

提出的指导损失通过引导差劲图像的轨迹向良好图像的轨迹靠拢来改善人脸生成质量。此外，微调过程中关注了时间步长和自注意层的重要性，发现针对人脸细节的优化策略更为有效。

结果与分析

量化比较结果显示提出的方法在多个指标上优于基础模型，特别是在人脸质量上取得显著提升。消融实验进一步证实了时间步长选择的有效性和自注意层在细节生成中的重要作用。

结论

研究聚焦于改善DMs中的人脸生成问题，提出了面向人脸质量优化的新度量方法和微调策略。尽管这些方法主要关注人脸细节，未来研究可以扩展到其他细节生成领域，如手部质量。

【案例】我们运营团队在跑迭代，还跑了226期？（流程篇）

了解更多

想要了解更多内容？

查看原文：只需微调，大幅提升人脸生成质量！上交联合OPPO发布新标准和新方法

文章来源：

AI生成未来

扫码关注公众号