stasbel / MLBD

Materials for "Machine Learning on Big Data" course

MLBD

Materials for "Machine Learning on Big Data" course

Программа курса

Introduction

Методы и системы обработки больших данных

Список тем

1. Hadoop and MapReduce

Keywords: Google FS (master, chunkservers), Hadoop, HDFS (NameNode, DataNode), MapReduce (master, workers)

2. Apache Spark

Keywords: Pig, Hive, Spark (RDDs, transformations, actions, lineage graph, fault-tolerance, persist, driver, workers, stages, dependencies, tasks, partition)

3. Spark SQL

Keywords: Shark, DataFrames (DSL, cache, UDFs), Catalyst (tree, rule, catalyst in spark-sql)

Машинное обучение на больших данных

Список тем

4. Distributed ML Introduction

Keywords: Stochastic Gradient Descent, Data/Model Parallelism, General Purpose Distributed Computing(MapReduce, MR SGD, SparkNet, MLlib), Natively Distributed ML Systems (Parameter Server, DistBelief, TensorFlow, AllReduce, Horovod)

5. Categorical Features in Large Scale ML

Keywords: One-hot encoding, Cross features, Factorization Machines (FM, FFM), Neural Networks (Deep Crossing, Deep & Cross, DeepFM)

6. Gradient Boosting Decision Tree

Keywords: Categorical features (Naive Bayes, Mean Target Encoding), PLANET, XGBoost, CatBoost, SHAP values

7. Hyperparameters Optimization

Keywords: Grid Search, Random Search (low effective dimensionality), Bayesian Optimization (Gaussian Process, surrogate, acquisition), Predictive Termination, Hyperband (successive halving), Multi-task Bayesian Optimization

8. Recommender Systems

Keywords: Simple RS (Item/User-based, Content based), Ranking Metrics, Matrix Factorization (SVD, PMF, ALS, iALS, Incremental ALS, Neural CF), Large Scale RS (MF with Distributed SGD, PytorchBigGraph, GraphVite), Ranking losses (BPR, WARP)

9. Similar Objects Search

10. Latent Dirichlet Allocation

11. Dimensionality Reduction

12. Online Learning

13. Algorithms on Graphs

Проведение онлайн экспериментов

Список тем

14. How to conduct AB Tests (Experiment Design, Execution, Analysis)

15. Results Analysis ((Multiple) Hypothesis testing, Sensitivity, Power)

16. Heterogeneous Treatment Effect

Практики

Для выполнения практик нужно сделать fork (GitHub Help: Forks) данного репозитория.

Порядок выполнения и отправки задания на проверку

Задания находятся в <topic>/notebooks/<practice_name>.ipynb.

1. Убедитесь, что ваш fork репозиторий содержит все актуальные изменения данного репозитория (GitHub Help: Syncing a fork)
2. Выполните задание в отдельной ветке, например, practice_1 (GitHub Help: Branches).
3. Сделайте Pull Request (<current_practice_branch> -> master), назначьте PR на ishugaepov (GitHub Help: PRs).
4. После проверки PR, ревьювер либо оставляет комментарии с замечаниями либо мерджит текущую ветку в мастер вашего репозитория.

Deadlines

• PR с выполненным заданием должен быть отправлен на проверку не позднее чем через 8 дней после того как было выдано задание.
• По прошествии дедлайна, в рамках PR можно только исправлять замечания, но не отправлять на проверку новые задачи.

Домашние задания

Контесты

1. Kaggle: CTR Prediction
2. TBD

Общая информация

1. Для решения контестов можно использовать любые методы/приемы/фрэймворки, которые обсуждались на лекциях.
2. После окончания контеста нужно будет написать отчет об итоговом решении.

Docker

В рамках курса мы будем использовать Docker container с Hadoop, для того чтобы эмулировать кластер и запускать различные примеры.

См. Docker Tutorial

Datasets

• MovieLens
• Criteo Ads