Python 离群点检测算法 -- LOF

摘要

局部离群因子（LOF）是一种基于密度的无监督学习方法，用于识别数据中的离群点。该方法通过考虑数据点在其局部邻域内的密度偏差来工作。算法分为五个步骤：K-neighbors、K-distance、Reachability-distance (RD)、Local reachability density (LRD)和Local Outlier Factor of K-neighbor: LOF(k)。LOF算法能够区分局部和全局离群值，适用于数据密度不均匀的情况。

全局和局部离群值

离群点可能是全局性的，也可以是局部性的。全局离群点远离所有其他数据点，而局部离群点在其局部邻域内显得异常。LOF算法专门用于识别局部离群点，通过分析点的局部邻域密度与周围数据集群的密度比较，来确定离群值。

建模流程

建立模型时，可以通过设置阈值区分异常和正常观测值。PyOD库中的LOF模型可以用来生成训练和测试数据的离群值。通过PyOD的generate_data()函数生成数据集，并利用LOF探测异常值。模型的参数包括污染率，表示数据中异常值的比例。通过观察数据的分布和描述统计量，可以调整模型并选取合适的阈值。

实践案例

使用PyOD库中的LOF模型，我们可以轻松地建立和拟合模型，生成离群值得分，并根据设定的污染率确定阈值。通过比较正常组和异常组的描述性统计数据，可以评估模型的合理性。选择合适的阈值是关键步骤，可以根据业务需求选择更保守或更激进的阈值。