建筑设计网站素材,网站建设网站开发,青海建设厅网站,帝国网站建设一、需求
需要从生产环境ck数据库导数据到mysql#xff0c;数据量大约100w条记录。 二、处理步骤
1、这里的关键词是生产库#xff0c;第二就是100w条记录。所以处理数据的时候就要遵守一定的规范。首先将原数据库表进行备份#xff0c;或者将需要导出的数据建一张新的表了…一、需求
需要从生产环境ck数据库导数据到mysql数据量大约100w条记录。 二、处理步骤
1、这里的关键词是生产库第二就是100w条记录。所以处理数据的时候就要遵守一定的规范。首先将原数据库表进行备份或者将需要导出的数据建一张新的表了来操作切记不能再元数据表在进行操作因为如果操作有误恢复就很麻烦了或者直接造成生产事故。
2、100W条记录那么我们直接通过SQL语句导出来再导到mysql显然不现实。第一sql语法不一样第二数据量太大导出来的SQL文件打不开。
三、实现
1、ck中创建一个新的零时表存储需要导出的数据 CREATE TABLE data_dwd.data_user_import_cdj_1113
(phone Nullable(String) ,
one_id String ,
reg_time_platform Nullable(String) ,
level_no Nullable(String) ,
employee_id_mall Nullable(String) ,
reg_time_travel Nullable(String) ,
activate_status_travel Nullable(String) ,
activate_date_travel Nullable(String) ,
platform_reg_travel Nullable(String) ,
level_name_travel Nullable(String) ,
available_integral Nullable(String) ,
isaccpmak Nullable(String) ,
reg_time_hotel Nullable(String) ,
platform_reg_hotel Nullable(String) ,
level_name_hotel Nullable(String) ,
x_mph_kctp Nullable(String) ,
reg_time_invest Nullable(String) ,
platform_reg_invest Nullable(String) ,
level_name_invest Nullable(String)
)
ENGINE ReplicatedReplacingMergeTree(/clickhouse/tables/{shard}/data_user_import_cdj_1113,{replica})
ORDER BY ( one_id)
SETTINGS index_granularity 8192
2、将需要导出的数据插入到临时表
--将数据写入中间表
insert into data_dwd.data_user_import_cdj_1113 select
phone ,
one_id ,
reg_time_platform ,
level_no ,
employee_id_mall ,
reg_time_travel ,
activate_status_travel ,
activate_date_travel ,
platform_reg_travel ,
level_name_travel ,
available_integral ,
isaccpmak ,
reg_time_hotel ,
platform_reg_hotel ,
level_name_hotel ,
x_mph_kctp ,
reg_time_invest ,
platform_reg_invest ,
level_name_invest from data_user_import where phone is not null;
这里处理的关键信息是获取需要的数据和字段就行了。原因原始表一共有400多个字段实际需要的就20几个所以这里建的临时表没必要和原始表的表结构一样。
3、创建mysql表表结构应对应上ck表
--创建mysql表
CREATE TABLE data_user_import_cdj
(phone varchar(255) ,
one_id varchar(255) ,
reg_time_platform varchar(255) ,
level_no varchar(255) ,
employee_id_mall varchar(255) ,
reg_time_travel varchar(255) ,
activate_status_travel varchar(255) ,
activate_date_travel varchar(255) ,
platform_reg_travel varchar(255) ,
level_name_travel varchar(255) ,
available_integral varchar(255) ,
isaccpmak varchar(255) ,
reg_time_hotel varchar(255) ,
platform_reg_hotel varchar(255) ,
level_name_hotel varchar(255) ,
x_mph_kctp varchar(255) ,
reg_time_invest varchar(255) ,
platform_reg_invest varchar(255) ,
level_name_invest varchar(255)
)
4、将临时表数据导入到mysql数据表
这时可以通过工具导 这个步骤一般比较慢的但是导100w的数据应该没什么问题
5、数据导到mysql数据库就可以在mysql数据库对数据进行加工。
这里同样的要对数据加工前最好使用一张新的表来存储数据加工而不是直接在原来的表上加工以防加工错误数据无法恢复又需要重新导数据。
比如从数据中选出10W条处理出来 create table tmp_data_user_import_zlt_10W as select * from data_user_import_cdj where reg_time_platform is not null limit 100000; create table tmp_data_user_import_zlt_10W as select * from data_user_import_cdj where reg_time_platform is not null limit 100000;
应创建新的表来存储而不是在原表上进行操作。
实际开发中处理完的数据可能还要导到其他数据库会涉及到存储过程或者定时任务的一些编写。
