CVPR 2024 | 出手就是SOTA！扩散模型杀入部分监督多任务预测领域！(港科大)

摘要

本文由Hanrong Ye和Dan Xu撰写，介绍了一个名为DiffusionMTL的新型多任务去噪扩散框架，用于解决从部分标签数据中学习多个密集场景理解任务时出现的预测质量低下问题。DiffusionMTL工作原理是将多任务密集预测问题转化为像素级去噪问题，并引入了一种多任务调节策略来提高不同任务的去噪性能。广泛的实验证明，DiffusionMTL在几个多任务基准测试中超越了先进方法。

引言

多任务学习旨在同时学习多个相关任务，以提高效率和性能。然而，真实世界的多任务数据集标注成本高，因此多任务部分监督学习（MTPSL）成为了一个重要课题。MTPSL中每个样本只标注了部分任务，造成了训练标签的稀疏性和预测噪声问题。本文提出了DiffusionMTL框架，通过联合像素级去噪和生成过程来解决噪声预测问题，并通过多任务调节机制来促进无标签任务的学习。

相关工作

多任务学习的研究集中在提高计算效率和性能上。先前的方法在全监督环境下设计，对每个训练图像假设提供了所有任务的标签。然而，这在实际中往往不现实，因此MTPSL问题应运而生，它需要新的方法来利用部分标签数据。

DiffusionMTL方法

DiffusionMTL包括一个初始主干模型和去噪扩散网络（MTDNet），后者利用Prediction Diffusion和特征扩散来改善初始预测图。DiffusionMTL的训练和推理过程包括扩散步骤和去噪步骤，以及一个多任务条件化策略，帮助去噪并学习无标签任务。

实验

在PASCAL、NYUD和Cityscapes三个多任务数据集上进行了实验，结果显示DiffusionMTL优于现行最先进方法，尤其是在部分标签设置下。

结论

DiffusionMTL框架通过联合像素级的去噪和生成过程，有效地改善了多任务预测图的质量，并且利用多任务条件策略提高了去噪性能和无标签任务的学习。在三个挑战性的数据集上的实验证明了其有效性。