江苏省建设厅官网网站首页,遵义市在哪里做网站,ai可以用来做网站吗,滕州seokafka 消费模式 基础架构 目录概述需求#xff1a; 设计思路实现思路分析1.kafka 消费模式基础架构基础架构2#xff1a; 参考资料和推荐阅读 Survive by day and develop by night. talk for import biz , show your perfect code,full busy#xff0c;skip hardness,… kafka 消费模式 基础架构 目录概述需求 设计思路实现思路分析1.kafka 消费模式基础架构基础架构2 参考资料和推荐阅读 Survive by day and develop by night. talk for import biz , show your perfect code,full busyskip hardness,make a better result,wait for change,challenge Survive. happy for hardess to solve denpendies. 目录
概述
kafka消费模式
需求
设计思路
实现思路分析
1.kafka 消费模式
Kafka提供了两种主要的消费模式发布-订阅模式和分区模式。 发布-订阅模式在这种模式下一个消息可以被多个消费者同时消费。每个消费者都独立地读取消息并且不会影响其他消费者。这种模式非常适用于需要广播消息的场景例如实时日志和即时通讯等。 分区模式在这种模式下消息被划分为多个分区并存储在不同的Kafka主题中。每个分区只能由一个消费者组中的一个消费者消费。这样可以保证同一个分区的消息按顺序被消费并且可以进行负载均衡。这种模式适用于需要保证消息顺序和处理吞吐量的场景例如订单处理和数据仓库等。
Kafka还支持多种消费者组合消费模式的组合例如多个消费者组同时消费同一个主题或者多个消费者组按分区消费同一个主题。这些模式可以根据具体的业务需求来选择。
基础架构
Kafka 是一个分布式流数据平台用于高吞吐量、低延迟的处理大规模数据流。它具有以下基础架构组件 Producer生产者生产者负责将数据发布到 Kafka 集群。它可以将数据发送到指定的 topic 中。 Consumer消费者消费者从 Kafka 集群中订阅一个或多个 topic并消费流入的数据。消费者可以以不同的方式进行消费如批量消费、实时消费等。 Broker代理服务器Broker 是 Kafka 集群中的核心组件负责接收和处理 Producer 发送的消息并将消息持久化到磁盘中。每个 Broker 都是一个独立的服务器节点多个 Broker 组成一个 Kafka 集群。 Topic主题Topic 是消息的逻辑容器类似于消息队列中的主题或频道。Producer 发布的消息会被发送到指定的 topic 中而 Consumer 订阅的 topic 中的消息会被消费。 Partition分区每个 topic 可以被分为多个分区每个分区都是有序的、不可变的消息序列。分区可以分布在不同的 Broker 上以实现负载均衡和容错。 Replication副本Kafka 使用副本机制来提供数据的可靠性和容错性。每个分区都有多个副本其中一个是 leader负责处理客户端的读写请求其他副本则充当 follower用于备份数据和提供容错。 Consumer Group消费者组Consumer Group 是一组共享相同消费逻辑的 Consumer 实例。当多个消费者加入同一个 Consumer Group 时它们会协调消费 topic 中的分区以实现负载均衡和并行处理。 ZooKeeperKafka 使用 ZooKeeper 来管理和协调集群中的 Broker、Producer 和 Consumer。它负责维护集群的元数据监控 Broker 的状态并通知各个组件的变化。
以上是 Kafka 的基础架构组件它们共同协作实现了高性能、可扩展的数据流处理能力。
基础架构2 Producer生产者负责将消息发布到 Kafka 集群。Producer 将消息分发到指定的 Topic主题。每个消息包含一个键和一个值。 Topic主题是消息发布的类别或者频道。Producer 可以将消息发布到一个或者多个主题。 Consumer Group消费者组由一组消费者实例组成。每个消费者实例会订阅一个或多个主题并从中消费消息。 Broker代理服务器Kafka 集群由多个 Broker 组成每个 Broker 负责存储和管理一部分主题的消息。Broker 之间会进行数据副本的同步以实现高可用性。 ZooKeeperKafka 使用 ZooKeeper 来进行集群管理和协调。ZooKeeper 负责存储关于 Broker、Topic 和 Consumer Group 等元数据信息并协助进行故障恢复。 Consumer消费者消费者以 Consumer Group 的形式订阅一个或多个主题并从其中消费消息。每个消费者实例只会消费 Consumer Group 中的一个分区。 Partition分区主题可以被分为一个或多个分区每个分区是有序且独立存储的。分区在多个 Broker 之间进行数据副本的同步以提高可用性和吞吐量。
参考资料和推荐阅读
参考资料 官方文档 开源社区 博客文章 书籍推荐
暂无 欢迎阅读各位老铁如果对你有帮助点个赞加个关注呗同时期望各位大佬的批评指正~如果有兴趣可以加文末的交流群大家一起进步哈
