TELA: 最先进文本描述生成3D穿衣人体方案！支持虚拟试衣，上海AI Lab&网易等联合发布

摘要

本文介绍了TELA，一种从文本生成解耦3D穿着人体模型的方法。该方法采用分层式的人体表示和渐进优化策略，实现了对生成过程的精细控制，支持诸如虚拟试穿等服装编辑应用。大量实验证明，TELA在保持先进的3D穿着人体生成质量的同时提供了高度的解耦和编辑能力。

引言

在AR/VR、沉浸式远程会议及虚拟试穿等应用中，生成3D穿着人体具有重要意义。此前的方法在生成质量和编辑能力方面存在限制。TELA方法通过多层次的人体表示和新颖的优化策略克服了这些限制。

相关工作

文本引导的3D内容生成和3D人体生成是该领域的两个主要研究方向。最新研究尝试利用预训练的2D生成模型生成3D内容，并在3D人体生成方面通过引入人体先验知识来增强生成质量。

方法

TELA方法基于逐层生成策略，利用神经辐射场（NeRFs）分别表示人体和各件衣物。引入基于透明度的分层合成渲染方法和双重SDS损失来实现高质量的解耦服装生成。

实验

实验表明，TELA在生成质量、FID得分和用户偏好评价方面优于现有方法。同时，TELA还实现了高质量的解耦3D衣物生成和有效的消融研究。

应用与限制

TELA支持在同一个人身上自由组合不同的衣物并实现服装转移。尽管存在一些局限性，如优化时间较长和动画生成需改进，TELA在3D穿着人体模型生成方面仍表现出色。

结论

TELA为从文本输入生成解耦的3D穿着人体模型提供了一种新颖有效的方法，它通过分层表示和渐进生成实现了对生成过程的细粒度控制，并支持服装编辑等应用。