datax

There are 8 repositories under datax topic.

• brokercap / Bifrost

  Bifrost ---- 面向生产环境的 MySQL,MariaDB,kafka 同步到Redis,MongoDB,ClickHouse,StarRocks,Doris,Kafka等服务的异构中间件

  mysqlbinlogmysql-redismysql-mongodbgogo-mysqlgo-mysqlbinlogmysql-kafkago-otterrabbitmqmongodbmysqlgobinloggo-canalclickhousedataxdtsdatalinkcdc-go
  Language:Go 1981

• birdLark / LarkMidTable

  LarkMidTable 是一站式开源的数据中台，实现中台的 基础建设，数据治理，数据开发，监控告警，数据服务，数据的可视化，实现高效赋能数据前台并提供数据服务的产品。

  flinkflinkxseatunneldataxflink-sqlflink-cdc
  Language:Java 1844
• tis

  datavane / tis

  Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI

  javadataxetlflinkflink-streamingcdcdataopschunjun
  Language:Java 1049

• WeBankFinTech / Exchangis

  Exchangis is a lightweight,highly extensible data exchange platform that supports data transmission between structured and unstructured heterogeneous data sources

  exchangisdataxtransmission-enginesqoopwedataspheredataspherestudiolinkisetlflink
  Language:Java 446
• shardingsphere-jdbc-demo

  makemyownlife / shardingsphere-jdbc-demo

  shardingsphere jdbc 分库分表的实战例子 ，体系化实现 分片 + 扩缩容 , 涉及到 shardingsphere、canal、datax、id生成器等知识点。您的 ⭐️ ⭐️⭐️Star⭐️⭐️ ⭐️，是我的动力！如果您觉得还不错，请点上一颗小星星

  shardingspheresharding-jdbccanaldataxshardingsphere-jdbcshardingspheredemo
  Language:Java 167

• TianLangStudio / DataXServer

  为DataX(https://github.com/alibaba/DataX) 提供远程多语言调用（ThriftServer，HttpServer） 分布式运行（DataX on YARN） 功能

  dataxdataxserverthriftyarndataxonyarnserverthrift-serverdatax-serveretlhamaldata-hamalhttphttp-server
  Language:Scala 144

• Kestrong / datax-elasticsearch

  datax数据同步elasticsearch的reader和writer插件，支持一对多的扁平数据转换成es的嵌套对象，也支持嵌套对象的读取和ognl表达式过滤，理论上可以无限嵌套。

  dataxelasticsearchwriternestedjoinreaderognl
  Language:Java 88

• thestyleofme / common-datax

  基于DataX的通用数据同步微服务，一个Restful接口搞定所有通用数据同步

  dataxspringboot2mybatishivefreemarkerazkabanredisdynamic-datasourcemybatis-plus
  Language:Java 53

• Mrkuhuo / bigdata_learning

  大数据组件学习代码

  flinkhadoopjavapythonsparkclickhousedataxdolphinschedulerdoriselasticsearchhbasehivehudiicebergcdh5sqoop
  Language:Java 43

• thestyleofme / datax-admin

  DataX分布式集群与负载均衡、任务执行/统计，基于DataX的通用数据同步微服务，一个Restful接口搞定所有通用数据同步

  dataxdatax-serverspringboot2mybatis-plusribbon-clientzookeeper
  Language:Java 42

• metaphysical-road / spring-cloud-alibaba-practice

  Spring Cloud Alibaba微服务架构实战派，微服务架构最强实战案例分析

  dataxdiscoveryelknacosrocketmqseatasentinelskywalkingspringspringbootspringcloudalibabaspringcloudgatewayelasticjobelasticsearchsharding-jdbcshardingsphere
  Language:Java 40

• wzqwtt / BigData

  小白大数据学习笔记 :star:

  bigdatahadoophivehiveqlzookeeperflumekafkasparkdataxflinkhbasehdfsmaxwellhbase-clusterjavajvmscalabig-datajucnetty
  Language:Java 37

• peiliping / meepo

  异构存储数据迁移

  dataxsqoopmysqlparquetroaringbitmap
  Language:Java 30

• thestyleofme / DataX

  DataX分布式集群化、自定义DataX插件、源码修改任务监控以及脏数据存表Hook

  dataxdatax-hook
  Language:Java 25

• Arvin-Mark / DataX-src

  DataX 是异构数据广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

  adsdataxetlhbasehdfshivemysqlodpsoracleotspostgresqlserver
  Language:Java 23

• codingmiao / datax-simple

  一个datax的简化工具，帮助您轻量级的完成datax的二次开发和同步任务

  datax
  Language:Java 18

• duhanmin / datax-on-yarn

  实现yarn客户端,datax-on-yarn可以让datax在yarn master上运行

  yarndatax
  Language:Java 16

• hexnn / Stark

  基于Spark+Debezium打造的简单易用、超高性能大数据治理引擎，适用于批流一体的数据集成和数据分析场景，支持CDC实时数据采集，支持海量数据同步、数据建模和OLAP数据分析

  cdcdataxdebeziumflinkhadoopseatunnelsparkdataworksetlkettle
  Language:Scala 13

• jiang3ye / hdfsreader

  parquet for DataX - hdfsreader

  parquetdatax
  Language:Java 13

• TwoThreeWang / DataX_Python3

  DataX 修改为 Python3

  dataxpython3
  Language:Python 13

• VincentSleepless / datax_rediswriter

  dataX redis writer plugin

  dataxrediscodis
  Language:Java 12

• dodoyuan / docker-airflow-datax

  airflowdockerdataxgrpc
  Language:Python 10

• duhanmin / bigdata-sql-parser

  数据血缘，支持spark sql,hive sql,pg sql,presto sql,mysql sql,tidb sql, flink sql, datax血缘,spark/flink jar 运行命令的血缘解析；支持with语法

  sparkprestotidbdataxhivemysqlpostgresqlflinktrino
  Language:Java 9

• gindowcloud / datax

  DataX Web 可视化任务管理

  dataxdatax-web
  Language:Vue 8

• yasyx / datax-job-runner

  Generate and run jobs of alibaba DataX3.0

  datax
  Language:Shell 6

• Arvin-Mark / datax-bin

  DataX 是异构数据广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

  adsdataxetlhbasehdfshivemysqlodpsoracleotspostgresqlserver
  Language:Python 5

• wangshu-zhouyunfan / apsara

  Open source bigdata platform solutions

  bigdatacloudhadoopcdhdataxgriffinatlasschedulerincubator-dolphinscheduleridedataservicescboard
  5

• fx67ll / fx67llBigData

  Everything About BigData

  hadoophdfsyarnhivehbasesparkbigdatazookeeperdataxkafakaflink
  Language:Java 4

• AZHELLRGX / Big_Data_Study_Notes

  大数据学习笔记(:zap:不断完善中:zap:)

  scalasparkflinkhivehadoophbasekafkadatax
  Language:Java 2

• crabo / datax-incremental-load

  Improve datax 3.0 for "continurous" running in a incremental mode

  dataxkafkawriter
  Language:Java 2

• xuanbo / DataX

  DataX自定义插件

  dataxdatax-pluginhive-reader
  Language:Java 2

• ah-hui / project-dev

  spring-boot

  spring-bootdataxshiroresteasy
  Language:Java 1

• HanseyLee / DataX

  Add mongodbreader mongodbwriter ssl supports to alibaba Datax

  dataxmongodbmongodbreadermongodbwritersslmongoclient
  Language:Java 1

• hexnn / Balm

  基于Spring Boot全家桶打造，大数据PAAS组件适配器，一键适配DolphinScheduler、Hadoop、Spark、Hive、Impala、HBase、Kafka、Doris、StarRocks、ClickHouse、Neo4j、Redis、ElasticSearch，通过标准REST接口和SQL语句操作，简单易用，方便二次开发和快速集成

  clickhousedataxdolphinschedulerelasticsearchhadoophbasehiveimpalakafkamaxcomputeneo4jprestosparkstarrocksphoenixdorissparksqlsql
  Language:Java 1

• tonny0812 / data-audit-parent

  结合多数据源的数据稽核平台

  datax
  Language:Java

• xinchengzezhi / springboot-datax

  datax的spring-web客户端版本

  dataxhttpspringspringboot
  Language:Java