使用H统计量分析机器学习模型特征相关性

摘要

Friedman的h统计量（h-stat）是一种可解释性机器学习（XAI）方法，用于分析复杂机器学习模型中特征之间的交互。通过使用Python包artemis，我们可以计算成对h-stat和总体h-stat，分别量化两个特征之间以及一个特征与所有其他特征之间的交互效应。在进行分析时，可以选择使用标准化或非标准化的统计量。

H-stat简介

H-stat通过比较联合部分依赖（PD）函数和假设特征不交互的PD来量化特征间的交互。成对h-stat表示两个特征之间交互产生的效果百分比，而总体h-stat表示一个特征与所有其他特征交互产生的效果百分比。这些指标可以归一化，但有时归一化会夸大交互效应，尤其是当整体效果很小时。

使用artemis包

我们使用artemis包来分析鲍鱼数据集中的特征，该数据集包含了高度相关的特征。通过移除一些高度相关的特征，并为性别特征创建独热编码，我们能够训练一个随机森林模型来预测鲍鱼环数。然后，我们选择100个实例进行H-stat计算，以得到稳定的估计。

H-stat分析

总体H-stat表明壳重和去壳重量与其他特征的交互最为显著，分别约占35%和27%的预测效果。成对H-stat揭示了壳重和去壳重量之间约24%的变化是由两个特征之间的交互产生的。通过热图可视化，我们可以看到特征之间的相互作用以及每个特征的重要性。

非标准化H-stat

通过计算非标准化H-stat，我们发现先前可能夸大了某些交互，例如内脏重量和长度之间的交互。分析还说明了H-stat在面对高度相关特征时可能产生虚假交互的局限性。最终，通过散点图的可视化，我们确认了壳重和去壳重量之间的实际交互。

结论

尽管H-stat具有局限性，但通过将其与其他XAI方法结合使用，我们可以更全面地分析模型中的交互。在模型中包含高度相关的特征时，验证结果的重要性是显而易见的。