Giters

minicx / canal

阿里巴巴 MySQL binlog 增量订阅&消费组件

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

修改了1.1.4版本，请切换1.1.4分支

背景

公司使用canal做数据到rocketmq上，多次发生了故障，排查后发现是数据变更有4M的大字段，rocketmq接收堵塞了，导致全栈数据同步迟缓。

官方在1.1.4提供了canal.instance.filter.black.field来过滤掉字段，但是我们不知道哪个库哪个表会突然被插入大字段，可能是测试小伙伴的随机测试。。。

变更

添加字段的长度限制，超过截取，增加报警功能，遇到超过阈值的情况发送警告到运维群，及时提醒小伙伴不好顽皮~

About

阿里巴巴 MySQL binlog 增量订阅&消费组件

License:Apache License 2.0

Languages

Language:Java 94.3%Language:Vue 2.2%Language:JavaScript 1.5%Language:Shell 1.1%Language:PLpgSQL 0.2%Language:SCSS 0.2%Language:HTML 0.2%Language:Batchfile 0.1%Language:Dockerfile 0.1%Language:Python 0.1%Language:CSS 0.0%