- Лекции прочитаны Евгением Соколовым: https://github.com/esokolov
Курс посвящён изучению современных методов машинного обучения, широко используемых в практических задачах. В первой части изучаются методы глубинного обучения: основы оптимизации, принципы обучения нейронных сетей, сети прямого распространения, архитектуры для работы с изображениями и текстовыми данными. Во второй части изучаются практические вопросы машинного обучения: подготовка данных, подбор гипепараметров, оптимизация модели под конкретную метрику, разработка признаков.
- torch
- torch.nn
- torchvision
- numpy
- pandas
- matplotlib
- sklearn
- Знакомство с pytorch
- numpy, pytorch
- Первая нейросеть (предсказание на датасете MNIST)
- Сверточные сети и их параметры
- Параметры сверточных сетей
- kernel_size
- stride
- padding
- dilation
- MaxPooling
- ReLU
- Простая архитектура CNN на датасете CIFAR-10
- Визуализация параметров сети
- Классификация изображений
- VGG сеть
- использование Dropout
- Аугментация
- Методы оптимизации
- SGD
- SGD with momentum
- Adagrad (в том числе своими руками)
- RMSprop
- Adam
- Сравнение методов оптимизации
- Fine-tuning
- ResNet своими руками
- предобученный ResNet-18
- Сравнение сетей
- Adversarial attacks
- Semantic segmentation
- IoU
- U-Net
- Интерпретация
- Детекция изображений на датасете Penn-Fudan
- R-CNN
- Fast R-CNN
- Автоэнкодеры (на примере MNIST)
- Автоэнкодер своими руками
- Структура и интерпретация латентного пространства
- Semi-supervised learning (with Random Forest Classifier)
- Skip-gram Word2vec
- word2vec
- Pre-processing
- Subsampling
- Making batches
- validation
- SkipGram model
- visualizing word vectors
- RNN, LSTM
- LSTM своими руками, включая токенизацию и создание мини-батчей
- Подбор оптимальных гиперпараметров
- Transformers
- Transformer своими руками
- MultiHead Self-Attention
- LabelEncoder
- LSTMEncoder, LSTMDecoder
- Сравнение моделей для задачи NMT
- BERT
- BPE
- GPT