AI前沿-模型复杂度约束Dropout

文章摘要

上海交通大学深度学习基础理论团队在IEEE顶级期刊TPAMI发表了关于Dropout隐式正则化的最新研究。隐式正则化是指在训练机器学习模型时，未显式添加正则化项却间接约束了模型复杂度，减少过拟合风险的现象。

隐式正则化的研究成果

上交大团队对Dropout的隐式正则化效应进行了理论推导和实验验证。研究发现，使用Dropout的神经网络在训练时，神经元的输入权重倾向于在孤立的方向上凝聚，从而在保持模型复杂度尽可能低的同时拟合数据。

实验价值

研究表明，Dropout能在全训练过程中促使参数凝聚，且无需小初始化。此外，Dropout训练的神经网络相比标准梯度下降训练能找到更平坦的最小值，这是训练成功的关键。

Dropout隐式正则化的效应

Dropout相比随机梯度下降具有独特特性，能将凝聚现象与平坦性概念联系起来，解释其相互关系，并通过实验示例展示这两种效应。

隐式正则化的优点与风险

隐式正则化无需修改模型或增加超参数，通过调整训练设置来实现。它可能不如显式正则化直接可控，但二者经常结合使用以达到最佳泛化性能。

深度学习中的隐式正则化方式

深度学习的隐式正则化可以通过网络结构选择、参数初始化、Dropout、批量归一化、数据增强、早停和学习率调整等方式实现。