安装maxwell并实现实时解析mysql的binlog日志

发表于 | 分类于

开启mysql的binlog功能

第一步：修改配置文件：

1
sudo vim /etc/my.cnf
1
2
3
4
5
log-bin= /var/lib/mysql/mysql-bin

binlog-format=ROW

server_id=1

img

第二步：重启mysql

img

第三步：验证mysql是否开启binlog

img

log_bin参数为ON，证明已开启binlog

第四步：进入/var/lib/mysql目录，查看binlog日志文件

img

创建kafka的topic

topic名称为max_kafka_topic

img 

1
bin/kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic max_kafka_topic --zookeeper node01:2181,node02:2181,node03:2181

安装、配置maxwell，实现实时解析mysql的binlog日志

第一步：添加mysql普通用户maxwell

img

第二步：解压max-well安装包

img

第三步：修改maxwell配置文件

img

img

启动maxwell并将采集的数据发送到kafka的topic中

第一步：启动maxwell

img

img

第二步：采集数据发送到kafka（向mysql中插入数据,maxwell会自动进行采集）

img

消费kafka数据，验证数据进入到kafka当中去了

img