株洲网站建设报价,建设银行 上海 招聘网站,网站建设dns解析设置,自治区住房和城乡建设部网站生产者
参数名称描述bootstrap.serverskafka集群的地址key.deserializerkey的反序列化类#xff0c;写全类名value.deserializervalue的反序列化类#xff0c;写全类名buffer.memoryRecordAccumulator缓冲区总大小#xff0c;默认32mbatch.size缓冲区一批数据最大值#x…生产者
参数名称描述bootstrap.serverskafka集群的地址key.deserializerkey的反序列化类写全类名value.deserializervalue的反序列化类写全类名buffer.memoryRecordAccumulator缓冲区总大小默认32mbatch.size缓冲区一批数据最大值默认16k。适当增加该值可以提高吞吐量如果该值设置太大会导致数据传输延迟增加linger.ms如果数据迟迟未达到batch.sizesender等待linger.ms之后就会发送数据单位ms默认值是0ms表示没有延迟。生产环境建议该值大小为5-100ms之间ackscompression.type生产者发送数据的压缩方式默认是none也就是不压缩max.in.flight.requests.per.connection允许最多没有返回ack的次数默认为5开启幂等性要保证该值是1-5的数字enable.idempotence是否开启幂等性默认trueretries当消息发送出现错误系统会重发消息retries表示重试次数retry.backoff.ms两次重试之间的时间间隔默认是100ms
生产者如何提高吞吐量
参数名称描述buffer.memorybatch.sizelinger.mscompression.type
数据可靠性
参数名称描述acks0生产者发送过来的数据不需要等待应答 1: 生产者发送过来的数据Leader收到数据后应答 -1Leader和ISR里面的所有节点收齐数据后应答。默认值是-1-1和all等价
至少一次At Least Once ack级别设置为-1分区副本大于等于2ISR里应答的最小副本数量大于等于2
数据去重
参数名称描述enable.idempotence是否开启幂等性默认true
消费者
参数名称描述bootstrap.serverskafka集群的地址key.deserializerkey的反序列化类写全类名value.deserializervalue的反序列化类写全类名group.id消费者组idenable.auto.commit默认值为true消费者会自动周期性的向服务器提交偏移量auto.commit.interval.ms提交偏移量的评率默认为5s
消费者提高吞吐量 增加分区数
参数名称描述fetch.max.bytesmax.poll.records一次poll拉取数据的最大条数默认是500条
参考博客
[1]
