kafka 作为很火的消息队列,用来处理大量数据状态下的消息队列是很合适的,例如我们的日志处理等。
优点:
- 解耦合
- 异步处理
- 流量削峰
本篇文章主要是对于 快速上手 SpringBoot + Kafka 的搭建,以及可视化工具的使用
安装的前提需要去安装 jdk1.8+ ,并且配置环境变量
jdk官网下载地址:Java Downloads | Oracle
官网下载地址:Apache Kafka
我这边下载的版本是:kafka_2.13-3.6.0
- 解压后创建 data 文件夹,用来存放日志文件
- data文件夹中要区分 kafka 和 zookeeper 的日志数据包
1-3-1.配置文件
在config文件夹下
1-3-1-1.server.properties
1-3-1-1-1.修改 log.dirs 参数
log.dirs=刚才创建的data文件路径(D:kafka/kafka_2.13-3.6.0/data/kafka_log)
1-3-1-1-2.修改 listeners 参数
listeners=PLAINTEXT://127.0.0.1:9092
1-3-1-2.zookeeper.properties
- 修改 dataDir 参数
dataDir=D:/LYJ/kafka/kafka_2.13-3.6.0/data/zk
注意: 启动 kafka 时候需要先去启动 zookeeper,先后顺序不能错
1-4-1.命令启动
- 在 kafka 安装路径下 cmd 打开命令窗口
- 启动 zookeeper:没有报错就启动成功
- 启动 kafka:
1-4-2.脚本启动
在 kafka 安装路径下新建文件 kfk.cmd 和 zk.cmd
zk.cmd 中存放:
call bin/windows/zookeeper-server-start.bat config/zookeeper.properties
kfk.cmd 中存放:
call bin/windows/kafka-server-start.bat config/server.properties
这边根据自己喜好来,我这边创建的是一个cloud项目,可以拆开来创建或者创建在一个项目中都可以。
项目既可以是生产者,同时也可以是消费者,根据自己需求来
注意:
1.类上要加 @Component 注解 2.@KafkaListener(topics = "kafka_text_topic") 监听注解主体要与生产者主体一致
生产者:
消费者:
官网下载地址:Offset Explorer
根据你的电脑选择32为或者64位官网下载的除了配置一下下载地址剩下的可一路下一步到结束
官网下载很慢的小伙伴可再网盘中下载
链接: https://pan.baidu.com/s/15Q-MF7CFq-cwqVd_zlk-yw
提取码: kfk1(下文使用网盘方式安装)
解压后直接点击 .exe 文件运行
3-3-1.创建连接
接下来点击 test 测试连接,成功后进行连接
连接成功后就可以看见刚才上面我们代码测试的消息
3-3-2.修改乱码问题
上面的数据我们看到都是字节格式展示的,接下来我们把它改成 string 字符串展示
3.在点回去我们的消息页面data 即可
如果没反应的就惦记运行按钮重新加载一遍
3-3-1.修改所有主体消息数据字符串格式展示
1.右上角点击 Tools -> Settings
2.打开设置后点击 Topice
3.修改 key value
4.重新刷新一下就可以,不行的就退了重新启动一下