青岛三吉互联网站建设公司,市政浙江建设培训中心网站,福建泉州做网站公司,网站制作建设模板一、背景 画像标签服务#xff08;CDP#xff09;是核心服务#xff0c;被公司其他系统如现金、电商、风控等核心业务调用。异常的话#xff0c;影响范围大。
二、目标 存量数据测试通过 snapshot 迁移。增量数据测试通过 replication 同步。
三、测试 方案二测试#x…一、背景 画像标签服务CDP是核心服务被公司其他系统如现金、电商、风控等核心业务调用。异常的话影响范围大。
二、目标 存量数据测试通过 snapshot 迁移。增量数据测试通过 replication 同步。
三、测试 方案二测试两个独立HBase集群snapshotreplication 1存量数据迁移 (snapshot) 1、同步数据到目标hbase集群
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-snapshot test_20240315_1 \
-copy-from hdfs://10.9.21.38:8020/hbase \
-copy-to hdfs://10.9.21.38:8020/hbase_new \
-mappers 1 \
-bandwidth 128以上命令产生的 Yarn 任务 2、在目标hbase集群上查询数据
restore_snapshot test_20240315_1
scan test2增量数据同步 (replication) 1、原集群上执行。增加从集群。
add_peer 1, CLUSTER_KEY 10.9.109.203:2181:/hbase_new
list_peers2、原集群上执行。修改表属性设置复制目标从集群。
alter t2024,{NAME cf1 , REPLICATION_SCOPE1}3、原集群上执行。写入数据。 4、从集群上执行。从集群确认数据同步成功。
