kafka启动
kafka停止
查看Kafka运行状态
kafka主题创建
注:在主题名称中使用句点(‘.’)或下划线(‘_’)可能会导致与指标相关的问题。
查看kafka主题列表
查看kafka指定主题详情
删除kafka指定主题
修改主题分区数量
修主题分区数量
生产者发送消息
会打开交互窗口,可以在交互窗口输入信息,以模拟信息推送
消费者消费信息(相当于查看主题KafkaText的元数据)
会打开交互窗口,可以在交互窗口输入信息,以模拟信息接收
–from-beginning,它将会接收主题中所有分区的所有消息,包括在你启动消费者之前已发布到主题的消息
在消费组未命名消费组的情况下,每一次都会生成
查看消费组列表
查看消费者组消费情况
这里–group 需要指定自己的消费组名称
查看特定主题元数据
参看配置参数信息
–entity-name 指定kafka集群中节点的broker_id
|grep 后跟着参数名称的关键字
kafka 日志目录含义
bootstrap.checkpoint:该文件与 Kafka 启动过程相关,可能包含有关启动过程状态或进度的信息。该文件为十六进制,使用xxd 进行查看
cleaner-offset-checkpoint:该文件存储由日志清理器使用的偏移量,表示它已清理的日志段的位置。日志清理器负责从日志段中删除过时的消息。默认情况下每隔10分钟会触发一次checkpoint
__cluster_metadata-0:此目录与集群元数据相关,主要是元数据得flush相关信息
__consumer_offsets-0, __consumer_offsets-12, …:
这些目录用于存储消费者组的偏移量。每个目录代表一个用于存储消费者组偏移量的分区。
KafkaText-0, KafkaText-2, …:
这些目录与 Kafka 主题相关。每个目录代表指定主题(例如,KafkaText)的一个分区,其中包含实际数据/消息的日志段。
log-start-offset-checkpoint:
该文件包含分区中第一条消息的偏移量。它表示从分区中读取消息的起始点。
meta.properties:
该文件包含 Kafka 本broker的属性。
recovery-point-offset-checkpoint:
从第三行开始的内容:
每一行表示一个分区的信息,包括分区名、复制状态的起始点和恢复点偏移量。
例如,__consumer_offsets 30 0 表示 __consumer_offsets 分区 30 的复制状态,起始点偏移量为 0,恢复点偏移量也为 0。
replication-offset-checkpoint:
从第三行开始的内容:每一行表示一个分区的复制状态,包括分区名和高水位偏移量。
例如,__consumer_offsets 43 0 表示 __consumer_offsets 分区 43 的复制状态,高水位偏移量为 0。
KafkaText 0 9 表示 KafkaText 分区 0 的复制状态,高水位偏移量为 9。
写了这么多,全是指令代码。大家肯定觉得很麻烦,如果有一款可可视化工具就好了。以下推荐给大家两款软件。
kafka可视化工具
kafka tool
http://www.kafkatool.com/download.html
kafka-ui-lite
称为史上最轻便好用的kafka ui界面客户端工具,可以在生产消息、消费消息、管理topic、管理group;可以支持管理多个kafka集群
部署简便,可以一键启动,不需要配置数据库、不需要搭建web容器
支持zookeeper ui界面化操作;支持多环境管理
支持redis ui界面化操作;支持多环境管理
支持权限控制,可以自定义不同环境的新增、修改、删除权限;默认分配只读权限,避免用户的误操作
kafka ui
https://github.com/provectus/kafka-ui/releases
是github上的高星开源工具,使用jar打包,可应用在docker环境和非docker环境。
安装kafka-ui ,需要以下依赖
java 17是必备项目
将kafka-ui部署在非kafka集群节点
without docker环境下安装演示
安装JDK17
解压
替换到当前jdk8文件
安装kafka-ui
创建启动配置文件
根据个人情况,修改相应的节点信息
配置ip映射
启动kafka-ui
出现以上页面说明kafka-ui启动成功
使用配置文件中的name/password 进行登录