晓谈数据工程2-数据存储

数据工程概念系列：数据存储概览

本文为数据工程概念系列的第二部分，重点讨论不同的数据存储解决方案，包括数据仓库、数据湖、数据Lakehouse、数据网格、数据虚拟化，以及DataFabric。

数据仓库

数据仓库是从多个源收集数据的中心存储库，旨在支持数据分析。它能存储历史数据，集成多格式数据，保证数据质量，并且强调数据安全。常见的数据仓库解决方案包括Azure Synapse Analytics、Amazon Redshift和Google BigQuery。数据仓库架构有两种主要的方法：Inmon和Kimball，前者注重统一的信息源和3NF规范化存储，后者则侧重于维度数据建模和星型或雪花模式。

数据湖

数据湖允许存储结构化和非结构化数据，并以原始格式保存，无需预处理。它优化了存储成本和查询速度，支持多种数据连接器。数据湖解决方案包括Azure Data Lake、Amazon S3和Apache Hadoop。

数据湖屋

数据湖屋结合了数据湖的灵活性和数据仓库的管理，提供ACID合规性以保证数据的一致性和安全。它还支持元数据、缓存和索引以提高性能，并允许使用数据进行机器学习和BI报告。数据湖屋解决方案包括Delta Lake by Databricks、Apache Iceberg和Apache Hudi。

数据网格

数据网格架构强调数据的领域产品和所有权，每个领域负责自己的数据产品，并采用用户为中心的设计。治理是分散的，确保数据的可靠性和互操作性。数据网格解决方案包括Google Cloud BigQuery、Azure Synapse Analytics、AWS S3和Athena、dbt和Snowflake。

数据虚拟化

数据虚拟化避免了传统数据架构中的数据复制需求，通过中间件允许直接访问数据源。这种方式提供了治理和访问权限管理，并通过API、元数据和目录提供数据。

DataFabric

DataFabric构建了一个统一的生态系统，整合不同数据源、服务和应用程序。它基于数据虚拟化，并结合了人工智能和机器学习功能，用于数据映射和编目。DataFabric通过AI支持的元数据和推荐引擎来优化数据摄取和管理。

本文最后推荐了关于数据安全、企业数据管理和数据治理等相关的系列文章。