扫码阅读
手机扫码阅读
Kafka 入门知识,看这一篇就够了(上)
![](/theme/default/default/images/main/eye-open.png)
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
![](/theme/default/default/images/main/icon-jing.png)
咸鱼运维杂谈
扫码关注公众号
提前预览
本文作为Kafka入门指南,推荐初学者先阅读《关于消息队列的那些事》以建立基础概念。
01初识 Kafka
Kafka是由LinkedIn开发并捐赠给Apache的高吞吐分布式消息系统。它广泛应用于许多公司的业务中,特别是与数据处理框架如Hadoop和Spark的结合。Kafka的分布式设计使其具备高扩展性和高吞吐量,并能将消息持久化到磁盘,适用于多种场景。Kafka由生产者、消费者和服务端broker组成。
02Topic & Partition
Kafka采用发布/订阅模型,主题(topic)分类消息,每个主题下可以有多个分区(partition)来提高并发度和吞吐量。分区是顺序不变的消息队列,其中消息通过唯一序列号(偏移量)标识。消费者通过维护offset来读取消息,但无法删除,因为Kafka保留所有消息直至过期。
02Kafka 分布式
Kafka设计为分布式架构,多个broker组成集群,其中一个作为控制器管理集群。分区由特定broker负责,并可复制到其他broker实现冗余和高可用性。副本机制保证数据不丢失,通过ISR集合确保数据同步。副本中维护起始位移、高水印标记(HW)和日志末端位移(LEO)以控制消息的读取和写入。
结语
以上内容为Kafka基础入门概述,更深入的知识将在后续文章中分享。
想要了解更多内容?
![](/theme/default/default/images/main/icon-jing.png)
咸鱼运维杂谈
扫码关注公众号
咸鱼运维杂谈的其他文章
加入社区微信群
与行业大咖零距离交流学习
![](https://cdn.easycorp.cn/rongpm/upload/202312/f_39217d624bb2b42ce8f6322ebd7e573a.png)
![](https://cdn.easycorp.cn/rongpm/upload/202312/f_39217d624bb2b42ce8f6322ebd7e573a.png)
软件研发质量管理体系建设
白皮书上线