统一单ID和多ID个性化框架！阿里发布UniPortrait:质量和多样性超越现有方法

亮点直击

• 提出UniPortrait，一种创新的人像图像个性化框架，统一单ID和多ID个性化，具备高面部保真度和可控性。
• 引入新的ID embedding模块，采用解耦策略，保持面部身份信息的详细嵌入及良好的可编辑性。
• 引入ID Routing机制，解决多ID定制中的身份混合问题，不影响身份完整性和图像多样性。

框架介绍

UniPortrait是一个由ID embedding模块和ID routing模块组成的即插即用框架。ID embedding模块通过解耦策略提取高度可编辑的面部特征嵌入到扩散模型中。ID routing模块自适应组合并分配这些嵌入到合成图像的相应区域，实现单ID和多ID的个性化。此框架展现了在单ID和多ID定制中的卓越性能，并且与现有生成控制工具广泛兼容。

关键模块

ID Embedding

该模块传递高保真度且可编辑的面部ID信息，使用倒数第二层的面部识别特征保留更丰富的空间信息。为了增强面部结构表示，整合了面部识别模型的浅层特征，并应用dropout正则化以减少与内在ID特征的耦合。

ID Routing

为每个ID获得多样化的可编辑embeddings。在多ID场景中，ID routing模块自适应地route并分配唯一的ID到潜在特征中的每个潜在面部区域，有效缓解身份混合的问题。

训练

UniPortrait的训练分为单ID训练和多ID微调两个阶段，完成后支持单ID定制或多ID个性化。单ID训练阶段引入ID embedding模块，微调阶段引入ID routing模块。

实验

使用不同数据集进行了实验，包括来自LAION和CelebA数据库的图像。实验结果显示UniPortrait在身份保持、提示一致性、FID和LAION-Aes评分方面均优于现有方法。同时，提供了强大的可编辑性和身份保真度。

应用

UniPortrait的优异性能为多种下游应用提供了可能，包括面部属性修改和兼容性集成，使得条件可控的ID保持生成成为可能。

结论

UniPortrait成为单和多ID图像统一定制的新基准，提供了高保真度和可编辑性，解决了多ID生成中身份混合的问题。

玩转IPD（集成产品开发）之BLM模型，让团队开启上帝视角

了解更多

想要了解更多内容？

查看原文：统一单ID和多ID个性化框架！阿里发布UniPortrait:质量和多样性超越现有方法

文章来源：

AI生成未来

扫码关注公众号