[参赛项目] flink实时计算和传统数据中台的融合

[liuyiyi]

项目简述

对于flink而言确实可以实现更好的性能和更快的效率，但是取代不了HIVE的稳定性。那么我们为何不二者结合各取优点呢？通过对传统数据中台的改造在兼容HIVE的同时也加入flink的性能和效率。而对于操作数据平台的数据组而言尽可能的减低他们的学习和操作成本。

背景

我想绝大部分的业务需求都不可能完全依赖一个纯离线的平台来搞定，几乎都会有数据实时性的需求，但是数字化转型的同时又需要把这些业务数据做统一处理，清洗和管控。所以有了新的数据架构：

数据架构图转自：https://mp.weixin.qq.com/s/LicAa5IOvzQYdd6UfamEcA
如果已经有了一台稳定的数据中台以及ETL但是有不想再去关注flink任务的动态，那么不妨把flink任务的监控也集成进来吧。

目标

1，对flinksql的封装实现组件化，完成和传统数据中台的风格统一
组件替代代码：

sql替代代码：

2，实现对原数据中台离线计算的和flink实时计算监控的融合

实施方案

1.实现flink实时计算和传统离线计算的融合，具体来讲就是后台代码封装好flinksql后开放接口，前端界面 只需要给我相应的sql字符串就可以实现。

2.对于实时任务的监控则调用flink的REST API实现任务的启动/停止以及任务状态监控

成员介绍

Rookie Hacker团队，团队成员来自**汽车工程研究院
阿里云天池昵称：liuyiyi
阿里云天池昵称：heyth

[ReberMusk]

开源了吗 ~

[liuyiyi]

开源了吗 ~
目前暂没有开源，还在继续完善。待有稳定版本后考虑继续开源

[willsm]

暂时没有开源版本？可以提供学习一下