xingguangsixian/bigdata-hub

bigdata-hub

大数据相关的技术可以分为：传输、存储、计算三大方面

（核心）基础框架
- hadoop：HDFS、MR、YARN及高级话题、企业优化
- hive：基础使用、优化、SQL编译过程、数据血缘、进阶、权限控制
- spark：spark-core、spark-sql、streaming、优化、进阶
- flink：flink基础知识、API、CEP、CDC、流式架构、案例实践
数据存储
- hbase：核心API、进阶、与Hive和MR集成、Phoenix集成
- kafka：命令行、API、企业级实战
- elasticsearch
- zookeeper
数据传输（数据交换、数据集成）
- datax
- sqoop
- flume
- seatunnel
- bitsail：字节开源的高性能数据集成引擎
大数据调度：满足复杂大规模作业的调度场景
第三方or商业集成技术
- aliyun-bigdata：阿里云大数据（包括DataWorks、MaxCompute等）
- dss：微众开源一站式数据平台（DataSphere Studio）
  - 计算中间件：linkis
  - 数据交换：exchangis
环境搭建
大数据建设
前沿
- 增强性数据分析
- 数据中台
- 数据湖
  - Hudi
- 湖仓一体Lakehouse
- DataOps
其他
- 数字化转型

数据建设与大数据技术知识体系，包含hadoop、hive、spark、flink主流框架和系列框架，数据中台、数据湖、数据治理、数仓建设、数据化转型等

Language:Java 70.1%Language:Scala 15.2%Language:Shell 6.2%Language:Jupyter Notebook 3.7%Language:Python 2.9%Language:Mermaid 1.7%Language:Perl 0.1%