fendaq / data-integration

基于kettle实现的web版数据集成平台,致力于提供web可拖拽的数据集成平台。

Home Page:https://www.young-datafan.com/docs-data-integration/intro

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

基于kettle的可视化数据集成平台

English | 简体中文



架构


模块

  • dataintegration-common : 公共模块
  • dataintegration-group : 分组管理
  • dataintegration-project : 脚本管理
  • dataintegration-run : 数据集成运行模块
  • dataintegration-sso : sso单点登录模块
  • dataintegration-sys : 系统管理模块
  • dataintegration-vue : 前端vue模块

功能特点

基于kettle实现的web版数据集成平台,致力于提供web可拖拽的数据集成平台。

其主要特点有:

  • vue2+springCloud架构(后续支持vue3)
  • 支持kettle本地引擎,后续扩展spark引擎
  • 支持ftp/s3协议的文件读取

由于公司采用springcloud微服务架构开发整个数据中台产品,数据集成属于其中的一个子模块,所以暂时还是采用springcloud的架构进行开源,便于版本统一。


用户界面截图

home page dag monitor log


近期研发计划

TODO


参与贡献

非常欢迎大家来参与贡献,贡献流程请参考: TODO


快速试用 Docker

TODO


如何构建

./mvnw clean install

获得帮助

  1. 提交issue

版权

请参考 LICENSE 文件.


About

基于kettle实现的web版数据集成平台,致力于提供web可拖拽的数据集成平台。

https://www.young-datafan.com/docs-data-integration/intro

License:Apache License 2.0


Languages

Language:Java 45.4%Language:CSS 33.4%Language:Vue 15.9%Language:JavaScript 4.7%Language:SCSS 0.4%Language:Shell 0.1%Language:Dockerfile 0.1%Language:HTML 0.0%