quan2005 / flink-connector-debezium

此项目主要应用于数据中台或数据平台的数据总线,支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更。

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Flink-connector-debezium

基于Red Hat开源的Debezium组件,和Flink结合,实现在Flink上直接监听各种数据库的Change Log,并且能够利用Flink的特性,输出到不同的位置上,以实现数据总线和实时数仓的构建。此项目主要应用于数据中台或数据平台中数据总线的基础底座。

目前Debezium支持了MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra。理论上此连接器也支援以上所有数据库。

Getting Started

mvn clean package -DskipTests

example

参考DebeziumSourceITCase

About

此项目主要应用于数据中台或数据平台的数据总线,支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更。

License:Apache License 2.0


Languages

Language:Java 100.0%