Learning for course https://cursos.alura.com.br/course/spark-apresentando-ferramenta
Quando começamos a utilizar uma nova ferramenta é sempre uma boa ideia termos um material de referência para consultar.
Por ser uma ferramenta bastante utilizada no mercado, o Apache Spark tem bastante material de consulta. Vamos deixar uma lista de links interessantes que vão ajudar muito no seu desenvolvimento neste universo Big Data:
Apache Spark https://spark.apache.org/ Quem está usando Spark https://spark.apache.org/powered-by.html Documentação PySpark https://spark.apache.org/docs/latest/ O Databricks é uma plataforma de análise baseada no Apache Spark que permite que cientistas de dados, engenheiros(as) de dados e analistas de dados trabalhem juntos(as) em casos de uso como: https://www.databricks.com/
Aplicação de análises avançadas para machine learning e processamento de grafos.
Usar deep learning para solucionar problemas com dados não estruturados como interpretação de imagens, tradução automática, processamento de linguagem natural e muito mais.
Tornar o armazenamento de dados rápido, simples e escalável.
Detecção de ameaças de forma proativa com data science e IA.
Análise de dados em tempo real.
Nesse site temos uma lista de livros
Sugiro, principalmente, a leitura destes:
PySpark Cookbook https://www.oreilly.com/library/view/pyspark-cookbook/9781788835367/ Learning PySpark https://www.oreilly.com/library/view/learning-pyspark/9781786463708/ Applied Data Science Using PySpark https://www.oreilly.com/library/view/applied-data-science/9781484265000/
SparkSession https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/api/pyspark.sql.SparkSession.html