做体育设施工程公司的网站,郑州网站建设公司qq,开发一款小程序,wordpress 首页分栏Debezium日常分享系列之:Debezium2.7版本PostgreSQL数据库连接器 一、概述二、连接器的工作原理安全快照初始快照的默认工作流程行为临时快照触发临时增量快照触发临时阻塞快照增量快照增量快照流程Debezium 如何解决具有相同主键的记录之间的冲突快照窗口触发增量快照具有附加… Debezium日常分享系列之:Debezium2.7版本PostgreSQL数据库连接器 一、概述二、连接器的工作原理安全快照初始快照的默认工作流程行为 临时快照触发临时增量快照触发临时阻塞快照 增量快照增量快照流程Debezium 如何解决具有相同主键的记录之间的冲突快照窗口触发增量快照具有附加条件的临时增量快照使用Kafka信令通道触发增量快照具有附加条件的临时增量快照停止增量快照使用Kafka信令通道停止增量快照只读增量快照即席只读增量快照 阻塞快照进程可能重复 三、Streaming changesPostgreSQL 10+ 逻辑解码支持(pgoutput)主题名称事务元数据丰富变更数据事件数据变更事件更改事件键更改事件值复制身份创建事件更新事件主键更新删除事件墓碑事件截断事件消息事件 四、数据类型映射基本类型时间类型时间戳类型小数类型HSTORE类型Domain类型Network address类型PostGIS类型Toasted values默认值 五、设置 PostgresPostgreSQL on Amazon RDSPostgreSQL on Azure安装逻辑解码输出插件插件差异配置 PostgreSQL 服务器设置权限设置权限以允许 Debezium 在使用 pgoutput 时创建 PostgreSQL 发布配置 PostgreSQL 以允许与 Debezium 连接器主机进行复制支持的 PostgreSQL 拓扑WAL磁盘空间消耗为同一数据库服务器设置多个连接器升级PostgreSQL 六、部署Connector配置示例增加connector配置 七、连接器属性必需的配置属性高级配置属性Debezium 连接器 Kafka 信号配置属性Debezium连接器设置Kafka消费者客户端配置属性 Debezium PostgreSQL 连接器捕获 PostgreSQL 数据库架构中的行级更改。
第一次连接到 PostgreSQL 服务器或集群时,连接器会拍摄所有架构的一致快照。该快照完成后,连接器会持续捕获插入、更新和删除数据库内容以及提交到 PostgreSQL 数据库的行级更改。连接器生成数据更改事件记录并将其流式传输到 Kafka 主题。对于每个表,默认行为是连接器将所有生成的事件流式传输到该表的单独 Kafka 主题。应用程序和服务使用该主题的数据更改事件记录。
一、概述
PostgreSQL 的逻辑解码功能是在 9.4 版本中引入的。它是一种机制,允许提取提交到事务日志的更改,并借助输出插件以用户友好的方式处理这些更改。输出插件使客户端能够使用更改。
PostgreSQL 连接器包含两个主要部分,它们协同工作来读取和处理数据库更改:
逻辑解码输出插件。您可能需要安装您选择使用的输出插件。在运行 PostgreSQL 服务器之前,您必须配置使用所选输出插件的复制槽。该插件可以是以下之一: Decoderbufs 基于 Protobuf,由 Debezium 社区维护。pgoutput 是 PostgreSQL 10+ 中的标准逻辑解码输出插件。它由 PostgreSQL 社区维护,并由 PostgreSQL 本身用于逻辑复制。该插件始终存在,因此无需安装其他库。 Debezium 连接器将原始复制事件流直接解释为更改事件。 Java 代码(实际的 Kafka Connect 连接器)读取所选逻辑解码输出插件产生的更改。它通过 PostgreSQL JDBC 驱动程序使用 PostgreSQL 的流复制协议连接器为捕获的每个行级插入、更新和删除操作生成一个更改事件,