yomea / dao-data

解决企业级数据olap分析,实现人人是数据分析师

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

道可道,非常道.乘天地之正气,而御六气之辩.

项目愿景

屏蔽大数据分析重复造轮子的痛点,构建一套大数据生态带来的繁琐?好!这里就来实现一套面向olap自主灵活分析开箱即用的一站式服务。现实人人是数据分析师愿景,每一个微小的念头,都值得用数据浇灌,赋能业务。

技术要求

SpringBoot(2.4.5)、kafka(2.8)、zookeeper、redis、mysql、Hadoop、Spark、Hive、Hbase、phoenix、Elasticsearch、Flink、Flink-cdc、Canal、Kylin、clickhouse

备注:上述所用版本经过本人实践适配(本项目就是在集成所有大数据处理框架, 然后向上构建应用能力)

代码架构分层介绍

common --- 公共层

dao-data-web --- web交互

data-data-analysis --- 分析层:调度分析

dao-data-calculate --- 计算层:核心计算

dao-data-tb --- 任务管家:协调任务

dao-data-deploy --- 执行脚本

dao-data-factory --- 数据工厂

架构分层

img_5

技术架构

img_4

服务架构

img_3

模型构建介绍

星型:

雪花:

部署方案

About

解决企业级数据olap分析,实现人人是数据分析师


Languages

Language:Java 100.0%