Roadmap
birdLark opened this issue · comments
1.2022-02-23 至 2022-04-01
数据服务模块
1.可视化API构建实现 mysql、oracle、sqlserver、postgres、db2、h2、derby、sqlite、sybase 数据库的查询
2.API接口列表，修改，删除，查询
3.权限管理列表，修改，删除，查询，建立和API接口的关系
4.测试这一块的功能和服务，保证生产可用
2022-04-01 至 2022-06-01
数据开发模块
1.JAR任务开发
2.SQL任务开发
3.开发任务中的停止和执行
功能:
具体支持spark的流式任务和flink流式任务的JAR包的上传，并能运行
具体支持spark的sql和flink的sql的任务的发布和运行，支持flink cdc 的源和目标
2022-06-01 至 2022-09-01
数据集成模块
1.集成目前最火的seatunnel和datax和flinkx市面上比较流行的开源集成框架，生成前端的任务作业
2.集成dolphinScheduler的任务调度模块
2022-09-01 至 2022-12-01
数据治理模块
1.数据目录模块
2.元数据和数据血缘具体的需要再思考如何去做
2022-12-01 至 2023-02-01
重构前端React框架
重构后端SpringCloud框架
功能需求：
1：每个模块都是一个微服务
2：每个模块可以单独部署，互相集成
3： 以分布式任务调度为基础平台，各个模块对接分布式任务调度
- Apache Zeppelin 交互式数据分析变得可行的基于网页的开源框架
- Apache Atlas 为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能
- Apache DolphinScheduler 可视化DAG 工作流任务调度平台
- Google Prometheus 监控系统BorgMon类似实现的开源版 ，整套系统由 监控服务、告警服务、时序数据库等几个部
- Apache Calcite SQL 解析\SQL 校验\查询优化\SQL 生成器\数据连接
数据展示和BI
superset: https://github.com/apache/superset
davinci: https://github.com/edp963/davinci
ETL工具:
java方向:
kettle: https://github.com/pentaho/pentaho-kettle
datax:https://github.com/alibaba/DataX
大数据方向:
seatunnel:https://github.com/apache/incubator-seatunnel
chunjun:https://github.com/DTStack/chunjun
规则引擎 drools
低代码开发后续会再 可视化API 和 数据开发 进行补充，不要让用户写SQL，最好是拖拉拽的形式
关注厂商: 亿信华辰、美林数据、帆软、思迈特