视觉效果超赞！随意画个草图就能生成3D交互游戏场景！腾讯XR出品

亮点直击

• 基于草图的可控2D isometric图像生成流程。
• 在新数据集上经过去噪扩散训练的基底图修补模型。
• 学习组合式3D场景理解模块。
• 使用场景参数渲染互动3D场景的程序化生成流程。

摘要

本文介绍了一种基于深度学习的方法，用于将用户草图转化为互动的3D游戏场景。该方法通过使用预训练的2D去噪扩散模型生成2D isometric图像，并利用预训练的图像理解方法提取场景布局，然后通过程序化内容生成引擎创建3D场景。测试表明，该方法能高效地生成与用户设计意图紧密相关的高质量3D游戏场景。

方法

本方法包括三个关键模块：草图指导的isometric生成、视觉场景理解和程序化3D场景生成。草图指导的isometric生成使用ControlNet提供精确控制，并通过草图类别过滤和草图感知损失（SAL）增强训练。视觉场景理解模块恢复前景物体的实例级语义分割，估算深度，并渲染高度图和纹理图。程序化3D场景生成利用前一模块的语义和几何理解，结合程序生成技术，在游戏引擎中构建3D互动环境。

结果

实验结果展示了本文方法在多种用户草图和文本提示下的高效性和准确性。修复模型能够生成干净的底图，而视觉场景理解模块能够准确地恢复和渲染场景参数。程序化3D场景生成模块能够创建与草图和isometric图像高度一致的3D场景。

局限性与结论

本文方法采用多阶段pipeline，错误容易累积，且地形纹理多样性有限。未来计划开发新模型以同时生成多种模式，并提高地形纹理的多样性。总的来说，本文提出的Sketch2Scene方法能够根据用户的随意草图和文本提示生成3D互动场景，为多种下游应用提供支持。

2022年总结之团队成长篇

了解更多

想要了解更多内容？

查看原文：视觉效果超赞！随意画个草图就能生成3D交互游戏场景！腾讯XR出品

文章来源：

AI生成未来

扫码关注公众号