车道拓扑、目标布局、天气条件全都要！Text2Street：犀利的街景生成神器！

摘要

本文介绍了一种面向街景的可控文本到图像生成框架Text2Street，旨在解决传统文本到图像模型难以处理街景的复杂道路拓扑、多样交通状况和不同天气情况的问题。框架包含三个主要部分：基于车道的道路拓扑生成器（通过计数适配器实现文本到地图的生成）、基于位置的目标布局生成器（通过目标级边界框扩散策略实现文本到布局的生成）以及多控制图像生成器（整合道路拓扑、目标布局和天气描述以生成街景图像）。实验验证了该方法在可控街景文本到图像生成方面的有效性。

介绍

街景文本到图像生成在自动驾驶感知和地图构建数据生成中具有重要价值，但面临生成道路拓扑结构、交通状态和天气条件的挑战。Text2Street框架提出以解决这些挑战，通过新颖的生成器控制道路拓扑、交通目标布局和天气条件，提高生成图像的准确性和可控性。

相关工作

通用的文本到图像生成任务近年来取得了显著进展，但街景文本到图像生成效果并不理想，需要专门的框架来处理街景生成的复杂性。

提出的方法

Text2Street框架包括三个核心部分：道路拓扑生成器、目标布局生成器和多控制图像生成器。这些生成器分别控制道路结构、交通目标布局和天气条件，通过引入计数适配器和扩散策略来提高生成图像的控制度和准确性。

实验和结果

在nuScenes数据集上的实验表明，Text2Street在多个评价指标上优于现有方法，尤其是在属性级别指标上展现出更佳的可控性。消融实验进一步验证了各个组件的有效性，并证明了方法在目标检测等下游任务上的实用性。

结论

Text2Street作为街景的可控文本到图像生成框架，有效地解决了传统方法在街景生成中的不足，具有实际应用价值。