数据科学家 80% 的时间都在使用 20% 的 EDA 图

什么是 EDA？

探索性数据分析（EDA）是数据科学家分析和研究数据集，总结其主要特征的方法，通常使用数据可视化技术。EDA 是通过创建可视化和摘要来理解数据集的过程。

我们为什么需要 EDA？

EDA 在数据科学和机器学习工作流程中至关重要。它是数据科学家向数据提问的方式，以发现所有相关信息并理解数据存在的原因，例如趋势、模式、异常等。信息收集有助于确定最佳模型和数据特征。

可视化技术

• 条形图/计数图：显示分类变量分布，直观显示各类别频率。
• Box Plot：显示数据的统计概括，包括中位数、四分位数和异常值，识别分布和潜在异常。
• Density Plot：可视化连续变量分布，识别峰和谷，了解分布形状。
• Scatter Plot：探索两个连续变量间关系，识别模式和相关性。
• Line Plot：显示时间序列趋势，比较变量随时间变化。
• Heatmap：显示数字变量的相关矩阵，识别模式和关系。
• Subplot：在同一图表中比较多个绘图。
• Pairplot：可视化成对变量，探索变量间相关性和趋势。
• Violin Plot：结合箱形图和核密度图特点，可视化不同类别中数值变量的分布。

结论

EDA 是数据科学工作流程中的关键步骤，通过各种图形工具我们可以更好地理解数据集。虽然 EDA 需要大量时间，但它对于选择合适的模型和特征至关重要。

公众号『数据STUDIO』提供关于数据科学领域的深入内容，包括 Python、MySQL、数据分析、数据可视化、机器学习、数据挖掘和爬虫等。