最高加速超4倍！不依赖特定模型的统一模型压缩框架CPD发布（卡尔斯鲁厄理工学院）

亮点直击

• 提出了统一的模型压缩框架CPD，包括梳理、剪枝和蒸馏三个步骤，实现了架构独立性。
• 结合剪枝和知识蒸馏，提高了剪枝后模型的性能。
• 性能提升与效率优化，例如在ResNet-50上实现了超过2倍的加速，并在性能可接受的前提下提高了效率。

概述

文中提出了一个新颖的统一剪枝框架CPD，解决了模型无关和任务无关的问题，并通过广泛的实验验证了它在CNN和Transformer模型上的适用性，以及在图像分类和分割任务中的有效性。

方法

A. 框架概述

CPD框架包括一个分层依赖解析算法，一个基于Hessian的重要性评分方法用于剪枝，以及知识蒸馏来保持预测性能。

B. 梳理流程

通过定义直接关系和耦合操作，CPD框架能够找到需要同时剪枝的参数组，以保持通道维度的一致性。

C. 剪枝流程

采用基于Hessian的重要性评分方法，逐步移除重要性评分最低的神经元组，并结合知识蒸馏来辅助剪枝。

D. 知识蒸馏

使用知识蒸馏（KD）作为辅助剪枝和微调过程，帮助学生模型模仿教师模型的输出，以及其他基于像素和区域的KD方法。

实验

A. 设置

实验在NVIDIA GeForce RTX 2080 Ti GPU上进行，使用了ImageNet和ADE20K数据集来评估不同架构和任务的性能。

B. 图像分类

在图像分类任务中，CPD框架在保持精度损失在可接受范围的同时，实现了超过2.15倍的加速效果。

C. 语义分割

在ADE20K数据集上，CPD框架通过通道级知识蒸馏（CWD）实现了显著的延迟降低和性能保持。

D. 消融研究

消融研究显示，稀疏性对模型性能有影响，教师选择对KD效果有影响，且不同的KD方法在剪枝过程中的表现存在差异。

结论

CPD框架作为一个统一模型压缩框架，克服了以往方法局限性，展示了在剪枝过程中结合知识蒸馏可以提高模型的性能保留。