wordpress站点统计,申请注册网址,网站建设的维护工作,湖南中高风险地区controller的选举
首先第一个选举就是借助于zookeeper的controller的选举 第一个就是controller的选举#xff0c;这个选举是借助于zookeeper的独享锁实现的#xff0c;先启动的broker会在zookeeper的/contoller节点上面增加一个broker信息#xff0c;谁创建成功了谁就是主…controller的选举
首先第一个选举就是借助于zookeeper的controller的选举 第一个就是controller的选举这个选举是借助于zookeeper的独享锁实现的先启动的broker会在zookeeper的/contoller节点上面增加一个broker信息谁创建成功了谁就是主节点其他的broker会启动watch监视器进行监听其中的数据变化如果宕机了其他的节点会抢占这个节点选举为controller节点。
partition leader选举
每个topic都存在多个分区每个分区又存在多个副本其中有一个副本是主节点其他都是从节点负责和主分区同步数据并且生产者和消费者都是通过主节点进行操作kafka数据的
那么他们的选举是通过什么进行选择的呢 controller节点会按照分区的注册顺序优先选择前面的节点进行选择
如果主节点宕机后是如何选择的呢
首先我们使用命令来查看其中一个topic的详细信息
kafka-topics.sh --bootstrap-server hadoop106:9092 --topic topic_a --describe 其中我们会看到最后一列内容是ISR这个叫做动态副本集它的作用使用强大在kafka中存储数据的时候首先存储数据到主分区中然后主分区中的数据会同步到不同的副本分区中做数据的同步备份尤其是在producer端设定ack-1的时候要在所有副本都同步完毕消息以后才会返回ackproducer才会发送下一条数据过来但是如果因为其中一个副本的网络卡顿或者是自己宕机那么会出现一直同步不成功的情况从而producer不能继续发送数据所以kafka动态维护了一个副本集这个副本集中都是可以正常同步数据的也就是说他们都是正常的如果不正常的不能保持和主节点同步的副本就会从这个里面删除掉
为什么说这个ISR呢
因为一旦主分区宕机了那么broker【controller】节点就会检测到那么就会在ISR中按照顺序选择一个好的节点成为主分区。这就是主分区宕机后的选举实现但是选择的节点一般都是数据比较新的不会选择落后太多的副本
但是有时候ISR中的副本如果都为空就没有办法选择新的leader分区了这个时候为了集群的稳定性可以设定 # 将这个开关打开默认是false关闭的它允许实现ISR以外的节点成为主节点
unclean.leader.election.enable
这个会出现数据丢失问题但是可以在一定程度上保证程序的稳定性
