3D版"裁缝"开源来袭！Tailor3D:自定义3D编辑和资产生成（港大&上海AI-Lab&港中文）

摘要

文章介绍了Tailor3D，这是一个结合2D图像编辑和快速3D重建的3D编辑pipeline，以提高3D对象编辑的效率。通过双面LRM和LoRA Triplane Transformer的结合，Tailor3D处理了前后视图之间的不一致性，并在3D编辑任务中表现出色。

亮点直击

• Tailor3D是快速3D编辑pipeline，提升3D对象编辑效率。
• 双面LRM结合LoRA Triplane Transformer处理视图不一致性，提升重建质量。
• 在局部3D生成填充、风格迁移和对象风格融合等3D编辑任务中具有实用价值。

挑战与目标

尽管AI生成内容展示出从文本和图像创建3D对象的潜力，但3D资产的详细编辑和定制仍面临挑战。Tailor3D模仿裁缝的工作方式，能够迅速从双面图像中创建定制的3D资产，尤其是在处理来自不同视角的编辑冲突时。

方法

Tailor3D的pipeline包括大规模重建模型（LRM）和多视图扩散。首先编辑正视图，然后生成并编辑背视图。双面LRM将前后视图的3D特征无缝拼接，LoRA Triplane Transformer在减少内存使用的同时融合视点。这提供了一个灵活且高效的3D编辑解决方案。

Tailor3D的pipeline

从前视图开始，经过编辑后生成背视图，并进一步编辑。双面LRM处理前后视图的不完全一致性，增强了编辑能力并减少了内存负担。Tailor3D的模块化设计和双面LRM的稳健性提供了编辑3D对象的灵活性。

实验

在Gobjaverse-LVIS数据集上进行预训练和微调，实验结果显示Tailor3D在3D生成填充和风格迁移任务中有效。与现有技术相比，Tailor3D展示了更好的背面信息处理能力和用于3D编辑的实用性。

限制与结论

尽管Tailor3D通过双面图像快速创建定制3D资产且具有实用价值，但在处理某些物体的厚度时可能存在挑战，且生成的3D网格分辨率可能较低。未来的工作将旨在提高网格的质量和分辨率。

项目管理八大原则

了解更多

想要了解更多内容？

查看原文：3D版"裁缝"开源来袭！Tailor3D:自定义3D编辑和资产生成（港大&上海AI-Lab&港中文）

文章来源：

AI生成未来

扫码关注公众号