1.kafka查看消息堆积:
①:进入kafka的bin目录
②:确认消息堆积:
./kafka-consumer-groups.sh --bootstrap-server x.x.x.x:9092 --group $your_group --describe
查看是否存在消息堆积,查看LAG列。
这个bootstrap-server一般是localhost:9092,可以看client.properties文件,或者看生产者/消费者配置、flink、connect、springboot配置文件。
2.一、过期清理:
./kafka-configs.sh --zookeeper x.x.x.x:2181/xxx,x.x.x.x:2181/xxx --alter --entity-type topics --entity-name $your_topic --add-config cleanup.policy=delete
临时改成10秒保留,触发清理:
./kafka-configs.sh --zookeeper x.x.x.x:2181/xxx,x.x.x.x:2181/xxx --alter --entity-type topics --entity-name $your_topic --add-config retention.ms=10000
确认是否已经清理:
./kafka-consumer-groups.sh --bootstrap-server x.x.x.x:9092 --group $your_group --describe
确认LAG列是否减少到0,0表示清除完成。
还原kafka配置:
./kafka-configs.sh --zookeeper x.x.x.x:2181/xxx,x.x.x.x:2181/xxx --alter --entity-type topics --entity-name $your_topic --add-config retention.ms=604800000
或者:
./kafka-configs.sh --zookeeper x.x.x.x:2181/xxx,x.x.x.x:2181/xxx --alter --entity-type topics --entity-name $your_topic --delete-config retention.ms
二、删除topic:
查询topic:
./kafka-topics.sh --list --zookeeper x.x.x.x:2081,x.x.x.x:2081,x.x.x.x:2081
删除指定的topic:
./kafka-topics.sh --zookeeper x.x.x.x:2081,x.x.x.x:2081,x.x.x.x:2081 -delete --topic $topic_name
3.查看单个消费组的消息堆积:
./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group test_group --describe
LAG=LOG-END-OFFSET减去CURRENT-OFFSET。
~~~
查看kafka连接的zookeeper地址:
cat config/server.properties | grep zookeeper.connect
拿到地址之后验证:
bin/zookeeper-shell.sh x.x.x.x:2181 ls /brokers/ids
查看kafka主题:
bin/kafka-topics.sh --zookeeper x.x.x.x:2181,x.x.x.x:2181,x.x.x.x:2181 --list
查看单个broker的详情,包括IP地址和端口:
bin/zookeeper-shell x.x.x.x:2181 get /brokers/ids/$id
kafka查看消费组列表:
bin/kafka-consumer-groups --zookeeper x.x.x.x:2181,x.x.x.x:2181,x.x.x.x:2181 --list
查看kafka消费组详情:
bin/kafka-consumer-groups --zookeeper x.x.x.x:2181,x.x.x.x:2181,x.x.x.x:2181 --describe --group console-consumer-xxx
删除topic:
bin/kafka-topics.sh --zookeeper x.x.x.x:2181,x.x.x.x:2181,x.x.x.x:2181 --delete --topic $topic_name
郁金香花
鼓励的话语:真正的强大,不是所有人都站在你这边,而是当所有人都站在你对面,你依然能稳稳地站在那里。不讨好、不迎合、不低头,敢直面、敢破局、敢翻盘!