扫码阅读
手机扫码阅读
视觉效果超赞!随意画个草图就能生成3D交互游戏场景!腾讯XR出品
30 2024-10-25
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
文章来源:
AI生成未来
扫码关注公众号
亮点直击
- 基于草图的可控2D isometric图像生成流程。
- 在新数据集上经过去噪扩散训练的基底图修补模型。
- 学习组合式3D场景理解模块。
- 使用场景参数渲染互动3D场景的程序化生成流程。
摘要
本文介绍了一种基于深度学习的方法,用于将用户草图转化为互动的3D游戏场景。该方法通过使用预训练的2D去噪扩散模型生成2D isometric图像,并利用预训练的图像理解方法提取场景布局,然后通过程序化内容生成引擎创建3D场景。测试表明,该方法能高效地生成与用户设计意图紧密相关的高质量3D游戏场景。
方法
本方法包括三个关键模块:草图指导的isometric生成、视觉场景理解和程序化3D场景生成。草图指导的isometric生成使用ControlNet提供精确控制,并通过草图类别过滤和草图感知损失(SAL)增强训练。视觉场景理解模块恢复前景物体的实例级语义分割,估算深度,并渲染高度图和纹理图。程序化3D场景生成利用前一模块的语义和几何理解,结合程序生成技术,在游戏引擎中构建3D互动环境。
结果
实验结果展示了本文方法在多种用户草图和文本提示下的高效性和准确性。修复模型能够生成干净的底图,而视觉场景理解模块能够准确地恢复和渲染场景参数。程序化3D场景生成模块能够创建与草图和isometric图像高度一致的3D场景。
局限性与结论
本文方法采用多阶段pipeline,错误容易累积,且地形纹理多样性有限。未来计划开发新模型以同时生成多种模式,并提高地形纹理的多样性。总的来说,本文提出的Sketch2Scene方法能够根据用户的随意草图和文本提示生成3D互动场景,为多种下游应用提供支持。
想要了解更多内容?
文章来源:
AI生成未来
扫码关注公众号
AI生成未来的其他文章
如何科学评价视频生成模型?AIGCBench:全面可扩展的视频生成任务基准来了!
关注【AI生成未来】公众号,回复“GAI”,免费获取??
YYDS!数字人终于实现穿、脱衣自由!上大、腾讯等提出3D服装合成新方法:ClotheDreamer
.点击下方卡片,关注“AI生成未来”>>后台回复??
免费图片无损放大:8大平台突破画质极限
之前介绍过图片提高清晰度的工具平台,这次AIGCer介?
DALL-E 3不到50%,SDXL仅24.92%!各大SOTA文生图模型为啥这么难符合常识?
.点击下方卡片,关注“AI生成未来”>>后台回复??
兼顾身份保护和文本对齐!中山大学等提出CoRe:任意提示的文本到图像个性化生成!
点击下方卡片,关注“AI生成未来”作者:Feize Wu、Xud
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设
白皮书上线