如何开展网站推广,莱州市做网站的公司,西宁手机网站建设,临城企业做网站Pulsar架构与设计 一、背景和起源二、框架概述1.设计特点2.框架适用场景 三、架构图1.Broker2.持久化存储#xff08;Persistent storage#xff09;3.Pulsar元数据#xff08;Metadata store#xff09; 四、功能特性1.消息顺序性2.消息回溯3.消息去重4.消息重投递5.消息重… Pulsar架构与设计 一、背景和起源二、框架概述1.设计特点2.框架适用场景 三、架构图1.Broker2.持久化存储Persistent storage3.Pulsar元数据Metadata store 四、功能特性1.消息顺序性2.消息回溯3.消息去重4.消息重投递5.消息重试6.消息TTL7.延迟队列8.重试队列9.死信队列10.消息语义 五、设计原理1.消息去重2.消息重试3.延迟队列4.消费订阅模式4.1 独享模式4.2 灾备模式4.3 共享模式4.4 Key共享模式 5.生产访问模式5.1 共享模式5.2 独占模式5.3 独占屏蔽模式5.4 等待独占模式 总结参考链接 一、背景和起源
随着云原生的兴起对消息中间件的伸缩性和多租户隔离有了更高的要求。现有的消息中间件不支持多租户的隔离但是有一定伸缩性需要一定的迁移工具支持和手工操作。 Pulsar是下一代云原生分布式消息平台采用存储和计算分离架构设计支持弹性伸缩支持多租户、持久化存储、多机房跨区域数据复制。
二、框架概述
1.设计特点
下一代云原生分布式消息流平台单实例支持多集群支持跨机房在集群间消息复制极低的发布延迟和端到端延迟支持超过百万的消息主题。支持多种消息订阅模式独占、共享和故障转移由BookKeeper 提供的持久化消息存储机制保证消息传递由轻量级的 serverless 计算框架 Pulsar Functions 实现流原生的数据处理。基于 Pulsar Functions 的 Server less connector 框架 Pulsar IO 使得数据更易移入、移出 Apache Pulsar。支持冷热数据分级存储
2.框架适用场景
适用于多租户、云服务场景适用于业务波动比较大、需要弹性伸缩场景
三、架构图
一个Pulsar实例有多个Pulsar Cluster组成Pulsar Cluster之间可以进行消息复制。 Pulsar Cluster整体架构和组成如下其中Broker为无状态服务用于发布和消费消息BookKeeper用于存储。
Broker集群用于处理producer发出的消息将消息存储到BookKeeper集群将消息分配给consumer处理集群协调任务。BookKeeper集群用于消息持久化存储。Zookeeper集群用于处理多个Pulsar集群之间的协调任务。
1.Broker
主要包含以下部分
HTTP服务器主要是提供系统管理接口、topic查找接口Dispatcher异步TCP服务器用于数据传输Managed Ledger用于缓存从BookKeeper读取的消息
Broker是无状态服务的计算节点可以通过增加Broker来增加系统的吞吐量某个Broker节点负载过高可以将负载迁移到其他Broker节点。
2.持久化存储Persistent storage
Pulsar采用BookKeeper作为持久化存储组件。其中Bookie为数据的存储节点采用分片机制。Bookie支持扩缩容在扩容过程中不需要将已持久化数据迁移到新存储节点。
3.Pulsar元数据Metadata store
Pulsar元数据和BookKeeper元数据可以共享一个Zookeeper集群也可以使用不同集群。Pulsar使用Zookeeper来进行元数据存储、集群配置和协调。
四、功能特性
1.消息顺序性
可以支持分区顺序性生产者通过指定的key将消息发送到固定分区消息订阅模式需要选择独享模式、灾备模式、key共享模式。
2.消息回溯
pulsar默认删除已经被所有Consumer确认消费完成消息可以通过配置保留已经被消费完成的消息。
3.消息去重
通过服务器设置可以保证消息不会重复持久化存储保证存储的幂等。
4.消息重投递
消息投递失败会进行重新投递
5.消息重试
消息消费失败后消息会重新消费
6.消息TTL
支持消息生存期
7.延迟队列
支持任意时间延迟的消息
8.重试队列
重试队列是消费失败后消息会重新投递到此队列重试队列按照消费组进行设置的。
9.死信队列
重试次数达到一定次数后会将消息投递此队列
10.消息语义
支持Exactly Once消息语义消息确定被写入一次。producer保存发送失败消息再次发送服务端保证重试多条消息只存储一次。
五、设计原理
1.消息去重
消息去重是指即使消息被Producer多次投递到Broker也只会被持久化一次。Pulsar可以通过Broker配置开启消息去重功能不需要应该代码去保证。 实现原理
Producer每个消息都有一个递增的唯一SequenceIdBroker针对每个Producer保存已经接受到的最大SequenceId和已经持久化的最大SequenceIdBroker接收的消息中SequenceId大于以上SequenceId则正常处理如果小于或者等于则为重复消息直接返回Ack确认
2.消息重试
如果消费组中设置消息主题可以重试则会以主题和消费组为度创建重试队列和死信队列其中重试队列名称格式为--RETRY死信队列名称格式为--DLQ 整体流程为
消费失败后会将消息作为延迟消息重新投递到重试队列利用延迟消息特性使Consumer延后一段时间重新消费如果重新投递到重试队列超过一定次数则会把消息投递到死信队列 3.延迟队列
Broker针对topic每个分区按照subscription维度维护了DelayedDeliveryTracker优先级队列队列中以消息的延迟投递时间进行升序排列。
延迟消息投递到Broker后不用特殊处理直接持久化消费时优先检测DelayedDeliveryTracker是否有消息需要消费延迟投递时间已到如有则消费如果没有则消费正常队列消息消费正常队列消息如果消息为延迟消息则需要把消息索引存入到DelayedDeliveryTracker优先级队列 注意只有在共享模式和key共享模式才支持延迟队列
4.消费订阅模式
pulsar总共有四种消费订阅模式独享模式、灾备模式、共享模式和Key共享模式
4.1 独享模式
此模式下一个topic的某个消费组中只有一个消费者即使topic进行了分区所有分区也是共享同一个消费者。 此模式可以保证全局消息顺序性。
4.2 灾备模式
此模式下一个topic可以对应多个消费者但是只有master consumer可以消费当master出现异常会由其他消费者进行消费。如果topic进行了分区则每个分区都会对应一个master消费者和多个备用消费者。 此模式可以保证分区消息顺序性。
此模式下分区topic和master消费者之间分配图
4.3 共享模式
此模式一个分区对应多个消费者每个消费者处理分区中的一部分数据消费者数量可以大于分区数量。此模式下可以通过增加消费者来提高消费速度。
4.4 Key共享模式
此模式一个分区对应多个消费者每个消费者处理分区中的一部分数据具有相同Key的消息会分派给相同Consumer处理。此模式下可以通过增加消费者来提高消费速度。
5.生产访问模式
pulsar总共有四种生产访问模式共享模式、独占模式、独占屏蔽模式、等待独占模式
5.1 共享模式
一个Topic可以有多个生产者
5.2 独占模式
一个Topic只能有一个生产者新生产者连接到topic会直接报错
5.3 独占屏蔽模式
一个Topic只能有一个生产者新生产者连接Topic原有的生产者会被断开连接
5.4 等待独占模式
一个Topic只能有一个生产者新的生产者连接topic会被挂起直到生产者获取独占访问权。
总结
作为下一代云原生消息队列Pulsar采用存储和计算分离的架构设计具有很好的弹性伸缩能力。Pulsar单个实例可以部署多个Pulsar集群支持多租户、持久化存储、多机房跨区域数据复制。本文主要是介绍一下Pulsar的架构和特性后续还会对Pulsar进行近一步研读。 参考链接
1.Pulsar简介 2.Pulsar架构 3.Pulsar生产消费
