宝塔面板做网站不能打开PHP显示404,大连关键词快速排名,个人如何做微信小程序,WordPress启用不了主题一、集群情况介绍
我的本地虚拟机#xff0c;一共有三个节点#xff0c;hadoop102、hadoop103、hadoop104
二、白名单
创建白名单文件whitelist#xff0c;通过白名单的配置#xff0c;只允许集群包含102和103两台机器可以存储数据#xff0c;104无法存储数据。
需求 …一、集群情况介绍
我的本地虚拟机一共有三个节点hadoop102、hadoop103、hadoop104
二、白名单
创建白名单文件whitelist通过白名单的配置只允许集群包含102和103两台机器可以存储数据104无法存储数据。
需求
1、创建白名单
这个位置是任意选择的因为hadoop配置文件都在这里所以我就放这个下面了。
cd /opt/module/hadoop-3.1.3/etc/hadoop
vim whitelist2、HDFS关联白名单
在hdfs-site.xml配置文件中增加dfs.hosts配置参数
!-- 白名单 --
propertynamedfs.hosts/namevalue/opt/module/hadoop-3.1.3/etc/hadoop/whitelist/value
/property3、分发配置文件
xsync whitelist hdfs-site.xml4、重启集群
第一次配置白明单需要重启集群。
myhadoop stop
myhadoop start5、查看页面
发现只有102和103节点
6、查看进程状态
发现104正常启动的
7、从104上传文件 cd /opt/module/hadoop-3.1.3/
hadoop fs -put NOTICE.txt /可以正常上传 查看页面 只有102和103有数据块并且副本数依然是3个。
8、重新配置104到白名单 分发文件
xsync whitelist刷新节点无需重启
hdfs dfsadmin -refreshNodes查看页面 节点添加成功且104也自动增加一份副本数据。
9、结论
通过上述实验我们证明了104被排除出集群了可以上传文件只是104的客户端功能。 但是104无法存储数据块了。 实现了预期效果。 且再次修改白名单无需重启集群。
三、动态扩容
集群运行状态下进行服务器节点的增加扩容。 新节点的初始化配置
添加新节点到集群
1、添加新节点到白名单文件
cd /opt/module/hadoop-3.1.3/etc/hadoop
vim whitelist
xsync whitelist2、单点启动新节点的Hadoop
hdfs --daemon start datanode
yarn --daemon start nodemanager3、刷新集群白名单配置
hdfs dfsadmin -refreshNodes4、新节点测试
上传一个文件到集群
hadoop fs -put wc.jar /发现无需重启集群我们就给集群新增了一个节点并能正常使用。
5、集群数据均衡
一般我们新增一个节点之后这个节点是没有数据的。 所以我们需要进行一次数据均衡操作这样才能让新增的节点分担集群压力。
cd /opt/module/hadoop-3.1.3/
sbin/start-balancer.sh -threshold 10
sbin/stop-balancer.sh命令解释 sbin/start-balancer.sh -threshold 10 对于参数10代表的是集群中各个节点的磁盘空间利用率相差不超过10%可根据实际情况进行调整。
sbin/stop-balancer.sh 停止均衡操作 注意由于HDFS需要启动单独的Rebalance Server来执行Rebalance操作 所以尽量不要在NameNode上执行start-balancer.sh而是找一台比较空闲的机器。
四、黑名单配置实现退役服务器
1、说明
黑名单表示在黑名单的主机IP地址不可以用来存储数据。 企业中配置黑名单用来退役服务器。
通过定义可以知道黑名单的IP必定在白名单中。否则没意义。
2、配置黑名单
cd /opt/module/hadoop-3.1.3/etc/hadoop
vim blacklist3、HDFS关联黑名单
在hdfs-site.xml配置文件中增加dfs.hosts配置参数
!-- 白名单 --
propertynamedfs.hosts/namevalue/opt/module/hadoop-3.1.3/etc/hadoop/blacklist/value
/property4、分发配置
xsync blacklist hdfs-site.xml5、刷新集群配置
hdfs dfsadmin -refreshNodes6、查看网页
正在退役105服务器 因为105有数据所以需要一段时间 数据同步完成后的状态 wc.jar的副本多了一个103说明105的副本拷贝到103上了。
6、停止105的Hadoop服务
hdfs --daemon stop datanode
yarn --daemon stop nodemanager需要到10分钟30秒后才会从页面清除节点信息。
7、数据均衡
一般退役一个节点也要进行一次数据均衡
sbin/start-balancer.sh -threshold 10
