群发资讯网

kafka消息堆积的处理方法

1.kafka查看消息堆积:

①:进入kafka的bin目录

②:确认消息堆积:

./kafka-consumer-groups.sh --bootstrap-server x.x.x.x:9092 --group $your_group --describe

查看是否存在消息堆积,查看LAG列。

这个bootstrap-server一般是localhost:9092,可以看client.properties文件,或者看生产者/消费者配置、flink、connect、springboot配置文件。

2.一、过期清理:

./kafka-configs.sh --zookeeper x.x.x.x:2181/xxx,x.x.x.x:2181/xxx --alter --entity-type topics --entity-name $your_topic --add-config cleanup.policy=delete

临时改成10秒保留,触发清理:

./kafka-configs.sh --zookeeper x.x.x.x:2181/xxx,x.x.x.x:2181/xxx --alter --entity-type topics --entity-name $your_topic --add-config retention.ms=10000

确认是否已经清理:

./kafka-consumer-groups.sh --bootstrap-server x.x.x.x:9092 --group $your_group --describe

确认LAG列是否减少到0,0表示清除完成。

还原kafka配置:

./kafka-configs.sh --zookeeper x.x.x.x:2181/xxx,x.x.x.x:2181/xxx --alter --entity-type topics --entity-name $your_topic --add-config retention.ms=604800000

或者:

./kafka-configs.sh --zookeeper x.x.x.x:2181/xxx,x.x.x.x:2181/xxx --alter --entity-type topics --entity-name $your_topic --delete-config retention.ms

二、删除topic:

查询topic:

./kafka-topics.sh --list --zookeeper x.x.x.x:2081,x.x.x.x:2081,x.x.x.x:2081

删除指定的topic:

./kafka-topics.sh --zookeeper x.x.x.x:2081,x.x.x.x:2081,x.x.x.x:2081 -delete --topic $topic_name

3.查看单个消费组的消息堆积:

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group test_group --describe

LAG=LOG-END-OFFSET减去CURRENT-OFFSET。

~~~

查看kafka连接的zookeeper地址:

cat config/server.properties | grep zookeeper.connect

拿到地址之后验证:

bin/zookeeper-shell.sh x.x.x.x:2181 ls /brokers/ids

查看kafka主题:

bin/kafka-topics.sh --zookeeper x.x.x.x:2181,x.x.x.x:2181,x.x.x.x:2181 --list

查看单个broker的详情,包括IP地址和端口:

bin/zookeeper-shell x.x.x.x:2181 get /brokers/ids/$id

kafka查看消费组列表:

bin/kafka-consumer-groups --zookeeper x.x.x.x:2181,x.x.x.x:2181,x.x.x.x:2181 --list

查看kafka消费组详情:

bin/kafka-consumer-groups --zookeeper x.x.x.x:2181,x.x.x.x:2181,x.x.x.x:2181 --describe --group console-consumer-xxx

删除topic:

bin/kafka-topics.sh --zookeeper x.x.x.x:2181,x.x.x.x:2181,x.x.x.x:2181 --delete --topic $topic_name

郁金香花

鼓励的话语:真正的强大,不是所有人都站在你这边,而是当所有人都站在你对面,你依然能稳稳地站在那里。不讨好、不迎合、不低头,敢直面、敢破局、敢翻盘!