iis服务器网站301重定向怎么做,白云网站建设公司,云南网首页,领动做的网站怎么样具体错误 hbase:meta,,1.1588230740 is NOT online#xff1b; state{1588230740 stateOPEN, ...... 使用 hbase 2.5.5 #xff0c;hdfs和hbase分离两台服务器。
总过程
1. 问题发现
在使用HBase的程序发出无法进行插入到HBase操作日志后检查HBase状况。发现master节点和r…具体错误 hbase:meta,,1.1588230740 is NOT online state{1588230740 stateOPEN, ...... 使用 hbase 2.5.5 hdfs和hbase分离两台服务器。
总过程
1. 问题发现
在使用HBase的程序发出无法进行插入到HBase操作日志后检查HBase状况。发现master节点和region节点都挂了HBase自动切换到备用master节点。关闭备用master节点重新启动HBase集群WEB界面发现上一次启动的节点在Dead Region中不自动清除且Region Transition卡住了395条看日志发现master节点一直在抛出is not online on ...,16020,1569380560106异常确认HBase没有正常运行。
检查日志发现主节点抛出如上错误。
2. 解决过程
2.1 is not online on ...,16020,1569380560106异常
重启观察到Dead Region每次会增加感觉应该是HMaster初始化中重启导致的状态问题。之前测试环境解决这个问题是清空zookeeper和hdfs的hbase相关信息但是因为有数据不希望清除考虑解决该问题。
先去hdfs节点检查hbase文件有没有损坏的情况。
hdfs fsck
输出未发现数据块损坏的情况。 搜索后确认为hbase内部问题。搜索得到hdfs的hbase路径下WALs保存regionserver节点的信息遂考虑清空重启看看能不能解决这个问题。
hdfs dfs -mkdir /hbase/WALs20240521hdfs dfs -mv /hbase/WALs/* /hbase/WALs20240521
运行后问题依旧存在检查日志后猜测是找不到某个节点的信息导致HMaster节点无法正常初始化。在WALs中新建了一个空白的hbase:meta找不到的1,16020,1569380560106文件夹再次重启后HMaster恢复正常多余的Dead Region在等待三四分钟后自动清除HBase恢复正常运行。
2.2 出现了数据缺失的情况
在HBase恢复正常后在HBase Web UI中的HBCK REPORT发现大量的Incontinent Regions和Unknown Servers信息怀疑是数据有问题在使用自己的业务程序测试后发现有部分数据的请求在master节点会抛出类似于 [表名],[rowkey],[encode]在region2.16000,[encode]这里不存在region2,16000,[encode]不在线。
初期怀疑是数据损坏了希望通过HBCK进行修复region的hole问题因为是2代所以从GIT上拉相关工具官网上获取的。可能在运行 hbase hbck -j xxx.jar 后会抛出没找到文件系统 hdfs 的错误可以加上 --internal-classpath来解决这个问题。我是因为hdfs 和 hbase 不在同一个服务器上也可以通过添加环境变量HADOOP_HOME来解决这个错误。
首次使用fixMeta来尝试修补表中的holes解决文件损坏问题。
hbase hbck -j xxxx.jar fixMeta
运行后观察master节点的日志发现返回了hbase:meta中发现的holes为0排除了数据损坏的情况。焦点回到unknown servers上。
hbase hbck -j xxx.jar scheduleRecoveries [encode]
恢复崩溃的 RegionServer 上的所有 region。
3. 过程中用到的指令
hbase hbck -j xxxx.jar -o assigns [encode] # 分配Region in transition中卡住的任务
hbase hbck -j xxxx.jar bypass [pid] # 将producer中的强行释放在任务卡住的时候可以用
hbase hbck -j xxxx.jar fixMeta # 修复hbase:meta的问题需要程序正常运行
结语
仅为在网络上找到的一些方法和自己踩的坑肯定有错误的地方希望可以指正谢谢。具体命令可以在HBCK2项目中的README.md中详解。
