FaceChain高保真人像风格生成挑战赛：一等奖方案

Datawhale分享摘要

简介：马琦钧，Datawhale成员，浙江农林大学统计学/会计学双学位毕业生，分享了在FaceChain高保真人像风格生成挑战赛——赛题三中获得一等奖的方案。

赛题分析：

赛题三的目标是提升生成人像的真实感，要求还原人脸上的痣、皱纹等微观细节。作者提出使用原始人脸的特征进行复制和还原到新生成的人脸上的方法。

数据集准备：

使用了真实数据集进行训练，利用Datawhale的免费开源软件whale-anno进行图片点标注，完成了痣、斑、痘、皱纹的标注。

模型训练：

运用keypoint-rcnn模型进行训练，能够准确检测人脸痣的位置。模型训练采用了预先训练的主干网络，通过小量参数表征大量参数的LoRA技术进行微调优化。

后处理：

人脸痣模型优化包括亮度调整和高斯模糊降噪，以及采用cv2.findContours方法提取痣轮廓。LoRA模型微调优化主要用于提升生成人脸的真实感。人脸筛选优化从生成多张人脸中选择与原图相似度最高的图像。

评委点评：

评委认为人脸痣模型简单有效，能体现不同光照下痣的区别。同时指出皱纹变化不直观，特征位置细节有待优化。

写在最后：

马琦钧分享了个人获奖经验与收获，提到了其他队伍的优秀方案，以及Datawhale组队学习的积极影响。同时，介绍了whale-anno项目，并预告了其未来功能。比赛代码已开源。