挑战 Spark 和 Flink？大数据技术栈的突围和战争｜盘点

大数据技术在过去二十年中迅猛发展，成为企业基础设施的重要组成部分。InfoQ采访了多位大数据领域资深专家，探讨了数据堆栈技术的演变、挑战和未来可能的发展方向。

大数据技术的现状与挑战

随着硬件的迭代和云服务的兴起，大数据技术栈的易用性成为关注焦点。尽管Spark、Flink和Kafka等系统建立了大数据领域的支柱地位，但它们被认为难用、复杂且不够便宜。新兴初创公司如WarpStream、AutoMQ、Neon Database和RisingWave等，以对象存储为基础，带来了存算分离的新架构，受到关注。

对象存储的影响

对象存储作为云时代的产物，因其低成本、高灵活性和易扩展性，成为新一代数据业务构建的基础。AWS推出的低延迟S3存储类别，S3 Express One Zone，为构建低延迟数据系统提供了新的技术选择。

易用性的改进

Spark社区在易用性上取得了进展，特别是在Python API和Spark Connect项目上。Python因其简单性和易学性成为主流数据处理语言。Spark Connect允许应用程序远程连接到Spark集群，提高了稳定性和可观测性。

流处理技术的演化

流处理技术领域的创新不断，Flink和Kafka等系统正在进行存算分离架构的转变，带来新的机会和挑战。RisingWave与Flink在架构和性能上的比较，展现了流处理技术的不同发展路径。

大数据技术栈的整体变化

大数据基础设施的多样化选择同时也带来了复杂性的挑战。未来的数据技术演进将趋向于更简洁的架构，重点在于提供简单、一致性的开发体验和最优的运维成本。Lambda到Kappa架构的演进，以及Streaming、Batch和OLAP引擎的边界模糊化，是当前的趋势。

GenAI的影响

生成式AI的发展为大数据技术栈带来了新的机遇。Databricks的数据智能平台展示了数据湖仓和生成式AI结合的趋势，预示着未来大数据架构将更加集成、智能化和自动化。

采访嘉宾简介

InfoQ采访了关涛、李潇、王峰（莫问）、吴英骏和张迎等大数据领域的资深专家，分享了他们对大数据技术栈未来发展的见解。