Kafka 入门知识，看这一篇就够了（上）

提前预览

本文作为Kafka入门指南，推荐初学者先阅读《关于消息队列的那些事》以建立基础概念。

01初识 Kafka

Kafka是由LinkedIn开发并捐赠给Apache的高吞吐分布式消息系统。它广泛应用于许多公司的业务中，特别是与数据处理框架如Hadoop和Spark的结合。Kafka的分布式设计使其具备高扩展性和高吞吐量，并能将消息持久化到磁盘，适用于多种场景。Kafka由生产者、消费者和服务端broker组成。

02Topic & Partition

Kafka采用发布/订阅模型，主题(topic)分类消息，每个主题下可以有多个分区(partition)来提高并发度和吞吐量。分区是顺序不变的消息队列，其中消息通过唯一序列号(偏移量)标识。消费者通过维护offset来读取消息，但无法删除，因为Kafka保留所有消息直至过期。

02Kafka 分布式

Kafka设计为分布式架构，多个broker组成集群，其中一个作为控制器管理集群。分区由特定broker负责，并可复制到其他broker实现冗余和高可用性。副本机制保证数据不丢失，通过ISR集合确保数据同步。副本中维护起始位移、高水印标记(HW)和日志末端位移(LEO)以控制消息的读取和写入。

结语

以上内容为Kafka基础入门概述，更深入的知识将在后续文章中分享。

想要了解更多内容？

查看原文：Kafka 入门知识，看这一篇就够了（上）

文章来源：

咸鱼运维杂谈

扫码关注公众号