Введение в глубокое обучение и вообще

Добро пожаловать на страничку курса "Введение в глубокое обучение и вообще".

Большая часть материалов курса нагло украдена из других курсов. В README к каждой неделе я пытался описывать что и где я спёр
Материалы для каждого семинара лежат в папках /week*
Курс сделан на Tensorflow 2.0
Если вы хотите скачать из репозитория конкретную папку, просто вставьте ссылку на неё в сервис для скачки. Ну либо наконец уже разберитесь с git и сделайте pull.

Нашёл на этой страничке ошибку? Нашёл какой-то ультраполезный ресурс? Придумал какое-то интересное задание для семинара? Есть конструктивная критика? Не молчи, заводи issue, делай пулл-реквест и напиши мне на почту filfonul@gmail.com или в Telegram (@Ppilif).

📦 Таблица с оценками
📦 Видео записи семинаров и лекций (ссылка появиться чуть позже)
📦 Любые вопросы можно задать в чат курса, все важные объявлеия будут публиковаться в канале курса. Жми кнопки ниже и попадёшь в них.

Идеология курса

Показать, что никакого искусственного интеллекта не существует. Нейросетка — это просто ансамбль из регрессий. Дать понять на каком уровне развития сейчас находится эта область машинного обучения и когда ждать нормальный искуственный интеллект, который всех поработит ну или хотябы будет присылать терминаторов.

План курса

week01_intro От регрессии к нейросети.
week02_backprop Алгоритм обратного распространения ошибки. 50 оттенков градиентного спуска.
week03_matrix_diff Матричное диффириенцирование.
week04 Нейросети - конструктор LEGO.
week05 Свёрточные сети.
week06 Оптимизация и эвристики.
week07 Современные архитектуры свёрточных сетей. Transfer learning.
week08 Задачи компьютерного зрения.
week09 Обучение без учителя.
week10 Работа с текстами, введение в NLP, идея эмбедингов: w2v.
week11 Рекурентные нейронные сетки: RNN, LSTM, GRU. Временные ряды.
week12 Нейросети для текстов: свёрточные сети, рекурентные сети, какими бывают эмбединги (представления слов).
week13 Seq2seq модели. Механизмы внимания. Автопереводчики. Генерация текстов.
week14 Разбираемся с трансформерами.
week15 Генеративные нейронные сети.
week16 Работа со звуком/видосами/ченить прикольное.

Домашки и контрольная

Список домашек:

Основы tensorflow, сбор своих первых нейросетей на tensorflow (выдача 9 февраля)
Собираем нейросеть своими руками (выдача 2-9 марта)
Большое задание по работе с картинками (выдача в районе 23-30 марта)
Рекурентные сетки и временные ряды (выдача в районе 13-20 апреля)
Большое задание по работе с текстами (выдача в районе 4 -11 мая)

В домашних заданиях будет довольно много бонусных баллов. Из-за их наличия вы сможете выбирать те разделы, которые вас больше всего заинтересовали.

Предполагаемая дата контрольной: 30 марта

Самый важный раздел

Итоговая оценка вычисляется по формуле:

Накоп = 0.3 СР + 0.5 ДЗ + 0.2 КР 

Итог = min(10, 0.7 Накоп + 0.3 Экз)

ДЗ - средняя оценка за домашки на python (5 заданий), одна домашка сделанная хуже всего при расчёте средней оценки, не учитывается
СР - средняя оценка за самостоялки на семинарах (около 10 квизов), две работы, написанные хуже всего, не учитываются
КР - балл за письменную контрольную работу
Экз - балл за письменный экзамен

Если накопленная оценка оказалась >= 6, а также за контрольную вы получили оценку >=6, можно забрать себе накопленную оценку как автомат и не сдавать экзамен.

Правила сдачи заданий:

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опозданиии на одну секунду. Сдавайте работы заранее.

Есть исключение, и имя ему Late days policy. У каждого студента есть право отложить мягкий дедлайн на 1,2 или 3 дня. Суммарно для откладывания в запасе есть три дня. Можно отодвинуть один дедлайн на три дня, а можно три дедлайна подвинуть на один день. Распоряжаться этими днями студент может как угодно. Жёсткий дедлайн, при этом, не меняется.

При обнаружении плагиата оценки обнуляются всем, кто был задействован в списывании, а также подаётся докладная записка в учебный офис. При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Любой из студентов может быть вызван на защиту любого домашнего задания. На защите по тексту работу ему задаётся несколько вопросов. Если студент не отвечает на них, работа обнуляется.

Книги:

📚 Николенко: «Глубокое обучение. Погружение в мир нейронных сетей.» — книга, которую всем рекомендую читать в первую очередь.
📚 Гудфеллоу, Бенджио: «Глубокое обучение.» — библия глубокого обучения с ответами на многие вопросы и хорошей математикой.
📚 Педро Домингос: «Верховный Алгоритм.» — книга для рефлексии и мыслях о том, когда же нас поработит искуственный интеллект.

На первые две книги в README к каждой неделе есть сноски для чтения.

Онлайн-курсы:

🤖 Advanced ML от Яндекса. Это для тех, кто хочет развиваться дальше. В специализации есть разные специфические курсы. Первый из них про нейронки. Код на Tensorflow. Версия библиотеки там пока что старая.
🤖 Курс нейронок, который читают в ШАД и сколтехе. Есть варианты кода на разных фреймворках. Есть видео лекций на русском и английском.
🤖 Бесплатный курс по tf от Google. Короткий. Покрывает весь базовый Keras. Все тетрадки выложены в colab. Внутри есть очень странные интервью.
🤖 Бесплатный курс по pytorch от Samsung. Состоит из двух частей: CV и NLP. Для тех, кто хочет писать на pytorch.
🤖 Deep learning на пальцах. Семён из кремниевой долины записывает лекции на youtube. Объясняет и правда на пальцах. Причём сложные вещи. Круто смотреть его стримы в метро, пока куда-то едешь.
🤖 Добавить ссылку на лекции Физтеха
🤖 Добавить сссылку на лекции Стенфорда

Лицензия

Весь контент, созданный для этого курса распространяются на правах лицензии MIT License Материалы публикуются как общественное достояние.

zavodptica / deep_learning_tf