陕西泰烜建设集团网站,wordpress自定义导航菜单,品牌网站建设报价,隆昌移动网站建设消费者 (Consumer )
消费者 订阅 Kafka 中的主题 (Topic) #xff0c;并 拉取消息。
消费者群组#xff08; Consumer Group#xff09;
每一个消费者都有一个对应的 消费者群组。 一个群组里的消费者订阅的是同一个主题#xff0c;每个消费者接收主题的一部分分区的消息…消费者 (Consumer )
消费者 订阅 Kafka 中的主题 (Topic) 并 拉取消息。
消费者群组 Consumer Group
每一个消费者都有一个对应的 消费者群组。 一个群组里的消费者订阅的是同一个主题每个消费者接收主题的一部分分区的消息。 每一个分区 (Partition)只能被一个消费组中的一个消费者消费。
伸缩性
往群组里增加消费者是横向伸缩消费能力的主要方式。 注意不要让消费者的数量超过主题分区的数量多余的消费者只会闲置。
消费者与分区
假设主题T1有4个分区我们创建了消费者C1,它是群组G1里唯一的消费者我们用它订阅主题T1。消费者C1将收到主题T1全部4个分区的消息如图4-1所示。 如果往群组G1新增多几个消费者直到有4个消费者那么每个消费者可以分配到一个分区如图4-3所示。 如果我们往群组里添加更多的消费者超过主题的分区数量那么有一部分消费者就会被闲置不会接收到任何消息如图4-4所示。 可以为每一个需要获取一个或多个主题全部消息的应用程序创建一个消费者群组然后往群组里添加消费者来伸缩读取能力和处理能力群组里的每个消费者只处理一部分消息。 消费者群组与分区再均衡
分区的所有权从一个消费者转移到另一个消费者这样的行为被称为再均衡. 再均衡为消费者群组带来了高可用性和伸缩性. 在再均衡期间消费者无法读取消息造成整个群组一小段时间的不可用。
何时会触发再均衡
有新的消费者加入消费组有消费者宕机下线有消费者主动退出消费组消费组对应的 组协调器GroupCoorinator节点发生变更。消费组内所订阅的任一主题或者主题的分区数量发生变化。
组协调器GroupCoorinator
GroupCoorinator 是 kafka 服务端中用于管理消费组的组件。
消费者协调器 (ConsumerCoordinator)
负责与 组协调器 进行交互。 组协调器 和 消费者协调器 的职责就是负责执行消费者再均衡的操作。
参考资料
《深入理解kafka核心设计与实践原理》 《Kafka权威指南》
