从传统BI到LakeHouse，数据架构的演变【案例】

A公司是一家科技初创企业，最初采用传统商业智能(BI)框架和批量ETL流程来处理数据。随着公司发展，数据来源增多且处理变得复杂，现有数据架构无法满足需求。为了解决数据处理和整合的挑战，A公司转向了大数据架构，这提供了一个可扩展的环境以处理更多类型的数据。 传统BI架构包括ETL流程、数据仓库（DW），其中ODS作为暂存区域，并使用星型架构维度建模。随着数据量和复杂性的增加，BI架构出现了SLA问题，而ETL的技术限制导致数据提取变得低效。 为了应对这些挑战，A公司引入了数据湖和Spark来处理和存储大量数据。数据湖存储结构化和非结构化数据，并分为原始层、干净层和丰富层。Spark则用于快速处理大数据集。 最终，A公司实施了DataLakehouse架构，这结合了数据仓库的管理功能和数据湖的存储优势。通过在S3存储的数据之上添加元数据层，A公司创建了一个集中式访问点，同时支持了安全和治理平台的发展。Trino和HiveMetastore取代了Redshift和Athena，用于高效查询PB级数据。 这些变革使A公司能够降低成本，简化管理基础设施，并更快地处理和提供数据。新基础设施还支持更复杂的数据产品，包括基于流的实时分析和现代机器学习产品。