欢迎来到扫码阅读
手机扫码阅读
Kafka 入门知识，看这一篇就够了（上）
163 2024-07-20
我们非常重视原创文章，为尊重知识产权并避免潜在的版权问题，我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容，访问作者的公众号页面获取完整文章。
查看原文：
文章来源：
咸鱼运维杂谈
扫码关注公众号
提前预览
本文作为Kafka入门指南，推荐初学者先阅读《关于消息队列的那些事》以建立基础概念。
01初识 Kafka
Kafka是由LinkedIn开发并捐赠给Apache的高吞吐分布式消息系统。它广泛应用于许多公司的业务中，特别是与数据处理框架如Hadoop和Spark的结合。Kafka的分布式设计使其具备高扩展性和高吞吐量，并能将消息持久化到磁盘，适用于多种场景。Kafka由生产者、消费者和服务端broker组成。
02Topic & Partition
Kafka采用发布/订阅模型，主题(topic)分类消息，每个主题下可以有多个分区(partition)来提高并发度和吞吐量。分区是顺序不变的消息队列，其中消息通过唯一序列号(偏移量)标识。消费者通过维护offset来读取消息，但无法删除，因为Kafka保留所有消息直至过期。
02Kafka 分布式
Kafka设计为分布式架构，多个broker组成集群，其中一个作为控制器管理集群。分区由特定broker负责，并可复制到其他broker实现冗余和高可用性。副本机制保证数据不丢失，通过ISR集合确保数据同步。副本中维护起始位移、高水印标记(HW)和日志末端位移(LEO)以控制消息的读取和写入。
结语
以上内容为Kafka基础入门概述，更深入的知识将在后续文章中分享。
想要了解更多内容？
文章来源：
咸鱼运维杂谈
扫码关注公众号
相关推荐
哈喽大家好，我是咸鱼最近这段时间比较忙，将近一周没更新文章，再不更新我那为数不多的粉丝量就要库库往下掉了 T
• 瀑布团队如何一步步导入敏捷团队？\x0a• 有没有好的回溯机制，应对小优化小需求？\x0a• 一种尴尬：没有leader的名，干着leader的活\x0a• 敏捷开发下，架构设计和概要设计什么时候做？\x0a• 女性如何跨过生育的“坎”，提前做好职业规划？
在Docker环境上使用Debezium同步数据到Kafka。
咸鱼运维杂谈的其他文章
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设
白皮书上线
-
联系我们
电话：4006 8899 23 邮箱：beining@chandao.com -
融实践库
关于我们 加入我们立即学习
微信号：xdwjack
-
微信公众号
-
微信视频号
-
社区微信群
