网站ipc备案,2024年的新闻,社区网站的推广方案,郑州文明网数据同步架构如下#xff1a; 出现的问题#xff1a; doris中的数据条数 源库中的数据条数 总数完全不一致。
出现问题的原因#xff1a; 在Dinky中建立表结构时#xff0c;缺少对主键属性的限制 primary key(ID) not enforced 加上如上语句#xff0c;数据条数解决一致 …数据同步架构如下 出现的问题 doris中的数据条数 源库中的数据条数 总数完全不一致。
出现问题的原因 在Dinky中建立表结构时缺少对主键属性的限制 primary key(ID) not enforced 加上如上语句数据条数解决一致
第二数据完整性内容不一致 方案一虽然解决了数据总数的问题但是数据完整性的方案解决因为如下原因
原本的数据推送kafka中的before和after字段为表字段类似与如下 但是在oracle中数据推送的过程中after中少了字段导致数据不全
解决方案 oralce重新推送相关表数据的数据结构保证数据字段的完整性参考ogg官网
