电商设计师联盟网站,seo培训课程,做网站收费多少,淘宝app官网1 服役新节点
1#xff09;新节点准备
#xff08;1#xff09;关闭 bigdata03#xff0c;进行一个快照#xff0c;并右键执行克隆操作。
#xff08;2#xff09;开启 bigdata04#xff0c;并修改 IP 地址。
vi /etc/sysconfig/network-scripts/ifcfg-ens33修改完…1 服役新节点
1新节点准备
1关闭 bigdata03进行一个快照并右键执行克隆操作。
2开启 bigdata04并修改 IP 地址。
vi /etc/sysconfig/network-scripts/ifcfg-ens33修改完记得重启网卡
systemctl restart network
3在 bigdata04 上修改主机名称为 bigdata04。
hostname bigdata04 # 临时修改
[rootbigdata04 ~]# vim /etc/hostname
bigdata04
还要记得修改 /etc/hosts文件并进行同步
修改bigdata01的hosts 文件修改完之后记得同步一下192.168.52.11 bigdata01
192.168.52.12 bigdata03
192.168.52.13 bigdata02
192.168.52.14 bigdata04xsync.sh /etc/hosts
scp -r /etc/hosts rootbigdata04:/etc/
4重新启动 bigdata03、bigdata04。
5修改 bigdata04 中 kafka 的 broker.id 为 3。
进入bigdata04的kafka中修改里面的配置文件 config/server.properties
6删除 bigdata04 中 kafka 下的 datas 和 logs。
rm -rf datas/* logs/*
7启动 bigdata01、bigdata02、bigdata03 上的 kafka 集群。
先启动zk集群
xcall.sh zkServer.sh stop
xcall.sh zkServer.sh start
启动kafka集群只能启动三台
kf.sh start
8单独启动 bigdata04 中的 kafka。
kafka-server-start.sh -daemon ./config/server.properties
查看kafka集群first主题的详情
kafka-topics.sh --bootstrap-server bigdata01:9092 --topic first --describe
发现副本数并没有增加。 由于我之前创建first这个主题的时候只有一个副本不是三个副本所以呢演示效果不佳。
kafka-topics.sh --bootstrap-server bigdata01:9092 --topic third --create --partitions 3 --replication-factor 3 2执行负载均衡操作
1创建一个要均衡的主题
在Kafka下
创建一个文件vi topics-to-move.json 写上如下代码如果多个topic 可以使用,分隔
{topics: [{topic: third}],version: 1
}
2生成一个负载均衡的计划
在创建的时候记得启动bigdata04节点否则计划中还是没有bigdata04
kafka-reassign-partitions.sh --bootstrap-server bigdata01:9092 --topics-to-move-json-file topics-to-move.json --broker-list 0,1,2,3 --generate 未来的分区策略拷贝一份
{version:1,partitions:[{topic:abc,partition:0,replicas:[2,0,1],log_dirs:[any,any,any]},{topic:abc,partition:1,replicas:[3,1,2],log_dirs:[any,any,any]},{topic:abc,partition:2,replicas:[0,2,3],log_dirs:[any,any,any]}]} 3创建副本存储计划所有副本存储在 broker0、broker1、broker2、broker3 中。
vi increase-replication-factor.json
{version:1,partitions:[{topic:first,partition:0,replicas:[3,2,0],log_dirs:[any,any,any]},{topic:first,partition:1,replicas:[0,3,1],log_dirs:[any,any,any]},{topic:first,partition:2,replicas:[1,0,2],log_dirs:[any,any,any]}]}
以上这个内容来自于第二步的执行计划。
4执行副本存储计划。
kafka-reassign-partitions.sh --bootstrap-server bigdata01:9092 --reassignment-json-file increase-replication-factor.json --execute
5验证副本存储计划。
kafka-reassign-partitions.sh --bootstrap-server bigdata01:9092 --reassignment-json-file increase-replication-factor.json --verify
如果不相信添加成功可以查看first节点的详情 2 退役旧节点
1执行负载均衡操作
先按照退役一台节点生成执行计划然后按照服役时操作流程执行负载均衡。
1创建一个要均衡的主题
kafka下添加文件vim topics-to-move.json
添加如下内容
{topics: [{topic: abc}],version: 1
}
2创建执行计划。
bin/kafka-reassign-partitions.sh --bootstrap-server bigdata01:9092 --topics-to-move-json-file topics-to-move.json --broker-list 0,1,2 --generate
3创建副本存储计划所有副本存储在 broker0、broker1、broker2 中。
添加文件 vi increase-replication-factor.json
添加如下代码
{version:1,partitions:[{topic:first,partition:0,replicas:[0,2,1],log_dirs:[any,any,any]},{topic:first,partition:1,replicas:[1,0,2],log_dirs:[any,any,any]},{topic:first,partition:2,replicas:[2,1,0],log_dirs:[any,any,any]}]} 4执行副本存储计划
kafka-reassign-partitions.sh --bootstrap-server hadoop11:9092 --reassignment-json-file increase-replication-factor.json --execute
2执行停止命令
在 bigdata04上执行停止命令即可。
kafka-server-stop.sh
