阿里云网站模板,呼和浩特网站建设哪家最便宜?,牛商网网站源码,温州网站建设服务中心目录 一、消费者组详细消费流程图解二、消费者的重要参数 一、消费者组详细消费流程图解
创建一个消费者网络连接客户端#xff0c;主要用于与kafka集群进行交互#xff0c;如下图所示#xff1a; 调用sendFetches发送消费请求#xff0c;如下图所示#xff1a; (1)、Fet… 目录 一、消费者组详细消费流程图解二、消费者的重要参数 一、消费者组详细消费流程图解
创建一个消费者网络连接客户端主要用于与kafka集群进行交互如下图所示 调用sendFetches发送消费请求如下图所示 (1)、Fetch.min.bytes每批次最小抓取大小默认1字节 (2)、fetch.max.wait.ms一批数据最小值未达到的超时时间默认500ms (3)、Fetch.max.bytes每批次最大抓取大小默认50m 通过onSuccess回调把数据拉取到queue队列中如下图所示 经过反序列化、拦截器、数据处理周调用FetchedRecords从队列中抓取数据如下图所示
二、消费者的重要参数
参数名称描述bootstrap.servers向 Kafka集群建立初始连接用到的 host/port列表。key.deserializer 和value.deserializer指定接收消息的 key 和 value 的反序列化类型。一定要写全类名。group.id标记消费者所属的消费者组。enable.auto.commit 默认值为 true消费者会自动周期性地向服务器提交偏移量。auto.commit.interval.ms如果设置了 enable.auto.commit 的值为 true 则该值定义了消费者偏移量向 Kafka提交的频率默认 5s。auto.offset.reset当 Kafka 中没有初始偏移量或当前偏移量在服务器中不存在如数据被删除了该如何处理 earliest自动重置偏移量到最早的偏移量。 latest默认自动重置偏移量为最新的偏移量。 none如果消费组原来的previous偏移量不存在则向消费者抛异常。 anything向消费者抛异常。offsets.topic.num.partitions__consumer_offsets 的分区数默认是 50 个分区。heartbeat.interval.msKafka 消费者和 coordinator 之间的心跳时间默认 3s。该条目的值必须小于 session.timeout.ms 也不应该高于session.timeout.ms 的 1/3。session.timeout.msKafka 消费者和 coordinator 之间连接超时时间默认 45s。超过该值该消费者被移除消费者组执行再平衡。max.poll.interval.ms消费者处理消息的最大时长默认是 5 分钟。超过该值该消费者被移除消费者组执行再平衡。fetch.min.bytes默认 1 个字节。消费者获取服务器端一批消息最小的字节数。fetch.max.wait.ms默认 500ms。如果没有从服务器端获取到一批数据的最小字节数。该时间到仍然会返回数据fetch.max.bytes默认 Default: 5242880050 m。消费者获取服务器端一批消息最大的字节数。如果服务器端一批次的数据大于该值50m仍然可以拉取回来这批数据因此这不是一个绝对最大值。一批次的大小受 message.max.bytes brokerconfigor max.message.bytes topic config影响。max.poll.records一次 poll拉取数据返回消息的最大条数默认是 500 条。
