建设 政务数据共享网站,网站开发用什么,北京网站seo设计,企业做网站用dedeCMS免费吗3.功能性说明
本节对并行加载工具的部分支持的功能进行简要说明。
1) 支持表类型
并行加载工具支持普通表、分区表。
2) 支持指定导入字段
文件中并不是必须包含表中所有的字段#xff0c;用户可以指定导入某些字段#xff0c;但是指定的字段数要和文件中的字段数保持一…3.功能性说明
本节对并行加载工具的部分支持的功能进行简要说明。
1) 支持表类型
并行加载工具支持普通表、分区表。
2) 支持指定导入字段
文件中并不是必须包含表中所有的字段用户可以指定导入某些字段但是指定的字段数要和文件中的字段数保持一致。
3) 支持导入部分记录
并行加载工具支持指定Where条件只将符合条件的记录导入到数据库中。
4) 自动生成序列字段值
本工具支持自动生成序列字段值有些表的字段设置了Default值为序列用户可能需要数据库自己生成并没有包含在文件中。
当该字段为非分片键时我们可以使用数据库自有的功能在插入时自动生成该字段值。但是当该字段为分片键时我们需要先在加载工具中生成该值然后根据该值进行分片插入到对应的DN节点。
5) 无分片键文件导入
当文件中不包含分片键并且没有Default值时加载工具将该字段置为Null计算并插入相应节点。
6) 触发器
当导入的表包含触发器时并行加载工具并不会做特殊的处理当触发器涉及非本数据节点时并行加载工具并不支持。例如一个表的触发器该触发器会插入另外一张表但是该表分片与原表不同此时将会涉及多个数据节点。
7) 不支持辅助表
AntDB有辅助表功能用来优化SQL语句的性能该表中存放数据表的相应数据。当数据表有辅助表时并行加载工具只能将文件导入到数据表并不会修改相应的辅助表。
8) 支持编码转换
并行加载工具支持数据编码转换在文件中数据和数据库的编码不同时工具会对文件中数据编码的转换之后再插入数据库。
4.性能
并行加载工具相比Copy命令有效提升了数据加载的效率。由于表字段的个数、类型及数据的不同并行加载工具相对Copy命令所提升的倍率并不完全相同。下面以TPCC的数据导入进行性能的对比。
1000仓的数据需要导入到表Bmsql_Stock的记录有1亿条数据文件Stock.csv文件的大小为29GB。测试的AntDB集群有2个DN主节点。在此场景的测试中加载效率提升了7倍左右加载速度对比图如下所示 图5 加载速率对比
Bmsql_Stock表结构如下 图6 测试表的表结构
5. 总结
本文介绍了AntDB并行加载工具的实现方式和使用方法通过多线程的方式实现并行处理文件数据并加载到AntDB数据库有效提升了加载的效率。
