km1994 / sparkStudy

spark 学习

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Spark Study Readme

目录

1、wordCount

内容:运行原理,RDD设计,DAG,安装与使用 第1章 Spark的设计与运行原理(大概了解) 1.1 Spark简介 1.2 Spark运行架构 1.3 RDD的设计与运行原理 1.4 Spark的部署模式 第2章 Spark的安装与使用(主要内容) 2.1 Spark的安装和使用 (如果想在window上安装,参考https://blog.csdn.net/SummerHmh/article/details/89518567,之后可以用pyspark或者jupyter上进行学习)(地址有问题,可以使用这个https://www-eu.apache.org/dist/spark/spark-2.4.3/) 2.2 第一个Spark应用程序:WordCount

2、RDDStudy

内容:RDD编程,熟悉算子,读写文件 第3章 Spark编程基础 3.1 Spark入门:RDD编程 3.2 Spark入门:键值对RDD 3.3 Spark入门:共享变量(提升-分布式必备) 3.4 数据读写 3.4.1 Spark入门:文件数据读写

3、sparkSQLStudy

内容:DataFrame,SparkSQL 第4章 4.1 Spark SQL简介 4.2 DataFrame与RDD的区别 4.3 DataFrame的创建 4.4 从RDD转换得到DataFrame

4、Parquet_JDBC_IO_Study

5、MLlibStudy

内容:MLlib流设计,特征工程 第6章 Spark MLlib 6.1 Spark MLlib简介 6.2 机器学习工作流 6.2.1 机器学习工作流(ML Pipelines) 6.2.2 构建一个机器学习工作流 6.3 特征抽取、转化和选择 6.3.1 特征抽取:TF-IDF 6.3.4 特征变换:标签和索引的转化 6.3.5 特征选取:卡方选择器

资源文件:resources

About

spark 学习


Languages

Language:Jupyter Notebook 99.5%Language:Scala 0.4%Language:Python 0.1%