napocheng / springboot-datax

使用springboot启动datax，方便以web方式使用

preparation

• Language: Java 8
• Environment: MacOS, 16G RAM
• Database: Mysql5.7

introduction

• 使用springboot启动datax。

todo list

• springboot重构项目
• 通过restful接口调度datax完成抽取数据作业
• 通过restful接口传入job配置json生成临时文件，根据文件配置调度datax执行该作业
• 集成swagger，方便调试
• 集成mybatis plus和Mysql数据库存放应用数据
• 网页端修改并持久化job配置的json到数据库
• 网页端实时查看抽取日志，类似Jenkins的日志控制台输出功能
• 网页端各种读写插件模板生成，可以在页面组装使用
• 精简assembly打包结构
• 实现datax分布式作业
• 实现部分写插件支持自动建表功能

部分截图

• 查看作业日志

• 配置数据源

• 根据数据源读取表字段

• 启动一个配置好的作业

前端项目

github地址

运行项目

1. 下载阿里datax打包之后的文件到本地，或者在github拉取datax代码打包

2. 配置DATAX_HOME环境变量指向阿里的datax目录

即图中显示的目录

 export DATAX_HOME=/openSource/AliBabaDataX/target/datax/datax

3. 执行datax-web/db下面的sql文件并修改application.yml数据库配置信息

数据库名 datax_web (与 配置文件中要一致) 配置文件在 datax-web 模块下的 \src\main\resources\application.yml

4. 在application.yml配置数据抽取日志文件保存路径

etlLogDir: /temp/datax-web/

5. 使用maven打包编译datax-web项目

在此工程的根目录下执行命令

mvn clean install -DskipTests

6. 编译项目成功后，进入datax-web/target目录启动工程

 java  -DDATAX_HOME=/Users/huzekang/openSource/AliBabaDataX/target/datax/datax -jar datax-web-0.0.1-SNAPSHOT.jar

如果没在环境变量里配置DATAX_HOME,在启动命令中像上面这样带上也是可以的

7. 访问浏览器http://localhost:8066即可看到正常使用了