Zzm0809 / DataLink

DataLink is a new open source solution to bring Flink development to data center.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

DataLink

简介

DataLink 是一个创新的数据中台解决方案,它基于 SpringCloud Alibaba 和 Apache Flink 实现。它使用了时下最具影响力的实时计算框架Flink,而且紧跟社区发展,试图只通过一种计算框架来解决离线与实时的问题,实现Sql语义化的批流一体,帮助用户减少技术与运维成本,推动数据产业更高效的发展。

面对业内数据人员紧缺的现状,DataLink 的目标不仅要实现企业级数据中台的全部功能,而且还要通过设计多种辅助决策功能来缓解人才的需求,助力数据生产。

DataLink 开源项目及社区正在建设,希望本项目可以帮助你更快发展。

功能

正在维护中....

最新进展

已发布:

暂无

即将发布:

releases-0.1.0 (FlinkSql语句集管理及集群执行)

开始

下载安装包

正在维护中...

从源码编译安装包

maven clean install 
bin/ -- 启动脚本
|- auto.sh 
config/ -- 配置文件
|- application.properties
|- application-dev.properties
|- bootstrap.properties
lib/ --外部依赖
|- *.jar
logs/ -- 日志
module/ -- 微服务模块
|- datalink-gateway.jar -- 网关模块
|- datalink-uaa.jar -- 授权模块
|- datalink-user.jar -- 用户模块
|- datalink-task.jar -- Dlink作业模块

正在维护中...

启动

sh auto.sh start base

正在维护中...

单机模式

正在维护中...

集群模式

正在维护中...

结构

DataLink -- 父项目
|-datalink-commons -- 通用中心
| |-datalink-auth-spring-boot-starter -- Spring Security 封装模块
| |-datalink-base -- 基础封装模块
| |-datalink-common-spring-boot-starter -- 通用封装模块
| |-datalink-db-plug -- DB工具封装模块
| |-datalink-elasticsearch-spring-boot-starter -- Elasticsearch 封装模块
| |-datalink-log-spring-boot-starter -- Log 封装模块
| |-datalink-mybatis-spring-boot-starter -- MybatisPlus 封装模块
| |-datalink-redis-spring-boot-starter -- Redis 封装模块
| |-datalink-ribbon-spring-boot-starter -- RibbonFeign 封装模块
| |-datalink-sentinel-spring-boot-starter -- Sentinel 封装模块
| |-datalink-swagger-spring-boot-starter -- Swagger 封装模块
|-datalink-config -- 配置中心
|-datalink-dbase -- 基础资源中心
| |-datalink-db -- DB 中心[8003]
| |-datalink-user -- 用户中心[8001]
|-datalink-dlink -- Dlink治理中心
|-|-datalink-task -- FlinkSql 作业中心[8004]
|-datalink-doc -- 文档中心
|-datalink-flink -- Flink 中心
|-|-datalink-flink-run -- Flink 执行器
|-|-datalink-flink-sql -- FlinkSqlPlus 
|-datalink-gateway -- 网关中心[9900]
|-datalink-uaa -- 权限中心[8002]
|-datalink-web -- React Web [8000]

正在维护中...

交流

欢迎您加入社区交流分享,也欢迎您为社区贡献自己的力量。

QQ社区群:965889874,申请备注 “ 数据中台 ”

微信社区群:添加微信号 wenmo_ai 邀请进群,申请备注 “ 数据中台 ”

公众号:DataLink数据中台

邮箱:aiwenmo@163.com

友情链接

Apache Flink

Mybatis Plus

microservices-platform

ant-design-pro

本项目的设计思路与代码实现受以上开源项目源码指导与启发,站在巨人的肩膀,才能看得更远。

截图

以下截图为已实现的部分截图,是本开源项目最终效果。

登录页

用户管理

预览

以下预览图为已实现的部分截图,并非开源项目最终效果,仅供参考。

主页

数据源

元数据

来源构建

FlinkSql

FlinkSql在线开发器

FlinkSql语法校验与执行解释

FlinkSql函数文档

Flink任务历史

Sql翻译

FlinkSql与元数据的血缘分析

NLP字典映射与运维

DB控制台

查询服务注册

共享文件中心

微服务监控

GPE监控

About

DataLink is a new open source solution to bring Flink development to data center.

License:Apache License 2.0


Languages

Language:Java 65.3%Language:TypeScript 29.7%Language:FreeMarker 1.7%Language:Less 1.6%Language:JavaScript 0.9%Language:EJS 0.5%Language:Shell 0.4%Language:Lua 0.0%