hal91190 / spark-intro

Une introduction à Apache Spark

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Introduction à Spark

Installation de Spark et du projet

Pour pouvoir exécuter les exemples de ce projet, il faut disposer d'un environnement Spark/Jupyter. Pour cela, vous pouvez utiliser pyspark avec un environnement virtuel Python. Vous devez également disposer d'un JRE (ou d'un JDK) sur la machine.

python3 -m venv sparkenv # Création d'un environnement virtuel
source sparkenv/bin/activate # Activation de l'environnement
python3 -m pip install -r requirements.txt # Installation des bibliothèques (pyspark, ...)

Utilisation du projet

Avant de lancer pyspark ou un notebook, il faut activer l'environnement virtuel créé ci-dessus.

source sparkenv/bin/activate # Activation de l'environnement

Construction du support de cours

Les slides sont au format asciidoctor.

bundle install
bundle exec rake

Mettre à jour le projet

bundle update --bundler
bundle update

About

Une introduction à Apache Spark

License:Other


Languages

Language:Jupyter Notebook 97.8%Language:Ruby 2.2%