myjavagithub / BigDataArchitect

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

BigDataArchitect

注意:

同学们请先浏览下面的课程模块顺序和课程视频顺序。学习到相关模块请在该项目目录中去到子目录查看具体的README描述!

大数据架构师课程导读

1.  bigdata_hadoop
2.  bigdata_hive
3.  bigdata_hbase
4.  bigdata_hadoop_project
5.  bigdata_redis
6.  bigdata_zookeeper
7.  bigdata_spark

课程大纲目录,持续更新中。。。

hadoop阶段:

1.	hadoop-大数据启蒙-初识HDFS
2.	hadoop-HDFS理论基础读写流程
3.	hadoop-HDFS集群搭建-伪分布式模式
4.	hadoop-HDFS集群搭建-HA模式概念
5.	hadoop-HDFS集群搭建-HA模式验证
6.	hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS
7.	hadoop-MapReduce原理精讲、轻松入门
8.	hadoop-MapReduce调度原理,Yarn原理
9.	hadoop-MapReduce-Yarn集群搭建、idea开发MR的WC程序
10.	hadoop-MapReduce作业提交方式、源码-客户端提交源码
11.	hadoop-MapReduce源码-MapTask-input源码精讲
12.	hadoop-MapReduce源码-MapTask-output和ReduceTask精讲
13.	hadoop-MapReduce开发-分组取TopN-API精炼
14.	hadoop-MapReduce开发-推荐系统-大数据思维模式

hive阶段:

15.	Hive的架构介绍及远程数据库模式安装
16.	Hive的远程元数据服务模式安装及Hive SQL
17.	Hive Serde、HiveServer2、Hive函数
18.	Hive参数设置、运行方式、动态分区、分桶
19.	Hive视图、索引、权限管理
20.	Hive优化、文件类型、HiveServer2高可用

hbase阶段:

21.	HBase架构介绍、数据模型
22.	HBase伪分布式及完全分布式安装、HBase 基本命令
23.	HBase Java API、Protocol Buffer简单介绍
24.	HBase与MapReduce整合、Hbase表设计
25.	Hbase优化及LSM树

hadoop项目阶段:

26.	Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图
27.	Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍
28.	Hadoop项目-Flume讲解及数据清洗模块准备工作
29.	Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路
30.	Hadoop项目-手敲用户新增指标模块代码
31.	Hadoop项目-MR输出数据到mysql的输出格式化类、sqoop的简单介绍
32.	Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写

redis阶段:

33.	redis 介绍及NIO原理介绍
34.	redis的string类型&bitmap
35.	redis的list、set、hash、sorted_set、skiplist
36.	redis的消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU
37.	redis的持久化RDB、fork、copyonwrite、AOF、RDB&AOF混合使用
38.	redis的集群:主从复制、CAP、PAXOS、cluster分片集群01
39.	redis的集群:主从复制、CAP、PAXOS、cluster分片集群02
40.	redis开发:spring.data.redis、连接、序列化、high/low api

zookeeper阶段:

41.	zookeeper介绍、安装、shell cli 使用,基本概念验证
42.	zookeeper原理知识,paxos、zab、角色功能、API开发基础
43.	zookeeper案例:分布式配置注册发现、分布式锁、ractive模式编程

spark阶段:

44.	scala语言、语法、基础
45.	scala语言、函数式编程、数据集处理
46.	scala语言、iterator设计模式实现
47.	scala语言、高级、隐式转换、样例类、模式匹配
48.	spark基础:对比MapReduce复习、java/scala开发spark版wordcount
49.	spark基础算子源码、基础api分类
50.	spark算子进阶:集合类操作、排序取topN
51.	spark算子进阶:聚合类操作、分区优化
持续更新中。。。。

About

License:Apache License 2.0


Languages

Language:Java 77.0%Language:Scala 9.8%Language:HiveQL 5.9%Language:Shell 3.1%Language:JavaScript 2.7%Language:TSQL 1.5%Language:ANTLR 0.0%