zhhui / SuperBigData

大数据全栈学习【生态组件,技术栈,数据流,数据仓库,数据库,指标体系,血缘关系,元数据管理,数据质量,DataWorks,Hadoop,Spark,Flink,面试,笔记文档,实战练习,公共脚本,常用Shell脚本,Java,Scala,离线,实时,采集,计算,存储,可视化】

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

SuperBigData

大数据全栈学习【又名超级大数据项目】

大数据架构图

https://github.com/al1020119/SuperBigData/blob/master/.images/大数据平台架构图v3.5.png

大数据数据流

https://github.com/al1020119/SuperBigData/blob/master/.images/架构.jpg

模块

1. collection【生态组件集合模块】
2. apache-spark【Spark模块】
3. apache-flink-java【Flink Java模块】
4. apache-flink-scala【Flink Scala模块】
5. compute【计算层】
6. storage【存储层】
7. visual【可视化层】
8. warehouse【数据仓库】
9. services【服务模块】
10. off-line【离线模块】
11. real-time【实时模块】
12. common【公共模块】
13. producer【生产者】

About

大数据全栈学习【生态组件,技术栈,数据流,数据仓库,数据库,指标体系,血缘关系,元数据管理,数据质量,DataWorks,Hadoop,Spark,Flink,面试,笔记文档,实战练习,公共脚本,常用Shell脚本,Java,Scala,离线,实时,采集,计算,存储,可视化】


Languages

Language:Java 56.7%Language:Shell 39.7%Language:Scala 2.7%Language:Vim Script 0.4%Language:Batchfile 0.4%Language:Python 0.1%Language:Awk 0.0%