昆明网站建设注意事项,wordpress lophita,itmc平台seo优化关键词个数,forpress wordpress wp另类Kafka 入门指南 1.Kafka 简介2.Kafka 架构3.分区与副本4.偏移量5.消费者组6.总结 1.Kafka 简介
Apache Kafka 是一种高吞吐、分布式的流处理平台#xff0c;由 LinkedIn 开发并于 2011 年开源。它具有 高伸缩性、高可靠性 和 低延迟 等特点#xff0c;因此在大型数据处理场景… Kafka 入门指南 1.Kafka 简介2.Kafka 架构3.分区与副本4.偏移量5.消费者组6.总结 1.Kafka 简介
Apache Kafka 是一种高吞吐、分布式的流处理平台由 LinkedIn 开发并于 2011 年开源。它具有 高伸缩性、高可靠性 和 低延迟 等特点因此在大型数据处理场景中备受青睐。Kafka 可以处理多种类型的数据如事件、日志、指标等广泛应用于 实时数据流处理、日志收集、监控和分析 等领域。
通常用作消息队列和流处理作为消息队列的时候竞品有 RabbitMQ、ActiveMQ、RocketMQ、Apache Pulsar 等。
2.Kafka 架构
下面介绍一下 Kafka 架构中最重要的三个参与者
Producer生产者生产者负责将消息发送到 Kafka 集群。Consumer消费者消费者负责从 Kafka 集群中拉取并消费消息。Broker代理节点Broker 是 Kafka 集群中的一个服务代理节点可以看作是一台服务器。Kafka 集群通常由多个 Broker 组成以实现负载均衡和容错。 3.分区与副本
Kafka 为了对消息进行分类引入了 Topic主题的概念。生产者在发送消息的时候需要指定发送到某个 Topic然后消息者订阅这个 Topic 并进行消费消息。
Kafka 为了提升性能又在 Topic 的基础上引入了 Partition分区的概念。Topic 是逻辑概念而 Partition 是物理分组。一个 Topic 可以包含多个 Partition生产者在发送消息的时候需要指定发送到某个 Topic 的某个 Partition然后消息者订阅这个 Topic 并消费这个 Partition 中的消息。
Kafka 为了提高系统的吞吐量和可扩展性把一个 Topic 的不同 Partition 放到多个 Broker 节点上充分利用机器资源也便于扩展 Partition。
Kafka 为了保证数据的安全性和服务的高可用又在 Partition 的基础上引入 Replica副本的概念。一个 Partition 包含多个 ReplicaReplica 之间是一主多从的关系有两种类型 Leader Replica领导者副本和 Follower Replica跟随者副本Replica分布在不同的Broker节点上。
Leader Replica 负责读写请求Follower Replica 只负责同步 Leader Replica 数据不对外提供服务。当 Leader Replica 发生故障就从 Follower Replica 选举出一个新的 Leader Replica 继续对外提供服务实现了故障自动转移。
下图展示的是同一个 Topic 的不同 Partition 在 Broker 节点的分布情况 Kafka 为了提升 Replica 的同步效率和数据写入效率又对 Replica 进行分类。针对一个 Partition 的所有 Replica 集合统称为 ARAssigned Replicas已分配的副本包含 Leader Replica 和 Follower Replica。与 Leader Replica 保持同步的 Replica 集合称为 ISRIn-Sync Replicas同步副本与 Leader Replica 保持失去同步的 Replica 集合称为 OSROut-of-Sync Replicas失去同步的副本AR ISR OSR。
Leader Replica 将消息写入磁盘前需要等 ISR 中的所有副本同步完成。如果 ISR 中某个 Follower Replica 同步数据落后 Leader Replica 过多会被转移到 OSR 中。如果 OSR 中的某个 Follower Replica 同步数据追上了 Leader Replica会被转移到 ISR 中。当 Leader Replica 发生故障的时候只会从 ISR 中选举出新的 Leader Replica。
4.偏移量
Kafka 为了记录副本的同步状态以及控制消费者消费消息的范围于是引入了 LEOLog End Offset日志结束偏移量和 HWHigh Watermark高水位。
LEO 表示分区中的下一个被写入消息的偏移量也是分区中的最大偏移量。LEO 用于记录 Leader Replica 和 Follower Replica 之间的数据同步进度每个副本中各有一份。HW 表示所有副本Leader 和 Follower都已成功复制的最小偏移量是所有副本共享的数据值。换句话说HW 之前的消息都被视为已提交消费者可以消费这些消息。用于确保消息的一致性和只读一次。
下面演示一下 LEO 和 HW 的更新流程
1初始状态三个副本中各有 0 和 1 两条消息LEO 都是 2位置 2 是空的表示是即将被写入消息的位置。HW 也都是 2表示 Leader Replica 中的所有消息已经全部同步到 Follower Replica 中消费者可以消费 0 和 1 两条消息。 2生产者往 Leader Replica 中发送两条消息此时 Leader Replica 的 LEO 的值增加 2变成 4。由于还没有开始往 Follower Replica 同步消息所以 HW 值和 Follower Replica 中 LEO 值都没有变。由于消费者只能消费 HW 之前的消息也就是 0 和 1 两条消息。 3Leader Replica 开始向 Follower Replica 同步消息同步速率不同Follower1 的两条消息 2 和 3 已经同步完成而 Follower2 只同步了一条消息 2。此时Leader 和 Follower1 的 LEO 都是 4而 Follower2 的 LEO 是 3HW 表示已成功同步的最小偏移量值是 3表示此时消费者只能读到 0、1、2三条消息。 所有消息都同步完成三个副本的 LEO 都是 4HW 也是 4消费者可以读到 0、1、2、3四条消息。 5.消费者组
Kafka 为了提高消息的处理效率引入了消费者组的概念。一个 消费者组Consumer Group包含多个消费者一个消费者组可以同时订阅多个 Topic一个 Topic 也可以同时被多个消费者组订阅。
为了保证同一个 Partition 的消息被顺序处理针对一个消费者组一个 Partition 的消息只会交给这个消息者组的一个消费者处理。 6.总结
本文简单介绍了 Kafka 架构以及架构中涉及到底的一些名词概念包括 Producer生产者、Consumer消费者、Broker代理节点、Topic主题、Partition分区、Leader Replica领导者副本、Follower Replica跟随者副本、LEOLog End Offset日志结束偏移量、HWHigh Watermark高水位、Consumer Group消费者组等。下篇文章再接着介绍 Kafka 如何解决消息丢失、重复消费、顺序消息、持久化消息、Leader 选举过程等。
