从零开始入门数据分析-大数据知识汇总

一、认识大数据

大数据来源于用户行为的数据平台，通过埋点技术在用户界面收集用户信息。埋点包括事件名称、定义、属性、属性定义、属性值类型等。大数据有五个特点：Volume（大）、Variety（多样）、Value（低价值密度）、Velocity（快速增长）、Veracity（准确可信）。

二、数据仓库概述

数据仓库是企业的分析性报告和决策支持系统，提供商业智能能力。其特征包括面向主题、集成的数据、稳定性和历史变化反映。数据仓库与数据库的区别在于其结构和用途。

三、数据仓库的架构

数据仓库采用分层架构，并进行元数据管理，记录模型定义和映射关系，并监控ETL任务运行状态。元数据管理是构建、使用和维护数据仓库的关键组件。

四、数据治理

数据治理关系到数据质量和管理，需要处理数据缺失、重复、错误和不可用等问题。治理原则包括约束输入和规范输出。

五、大数据常用词汇解释

包括MapReduce、HDFS、内部表、外部表等词汇，涵盖数据存储、处理和管理概念。