Курс будет основан на материалах других курсов:
- 12 лекций и семинаров
- 5 домашек
Материалы будут выкладываться в течение курса.
Обратная связь. пожалуйста, заполняйте формы обратной связи. Чтобы мотивация была более понятной, в конце формы обратной связи есть мем). Желательно заполнять открытые вопросы --- в них можете высказать все, что угодно)
Сложность курса. Понятно, что на курсе будут люди с разными бэкграундами. Если вам что-то не понятно, не стесняйтесь задавать вопрос. Или наоборот, если кажется что слишком просто, приходите в личку, придумаем интересную задачку :)
- не стесняться, не бывает глупых вопросов
- в общий чатик --- так есть вероятность, что вам может помочь кто-то из одногруппников быстрее, чем преподаватель
- на лекциях или семах
- в личку
| Домашка | Количество баллов | |
|---|---|---|
| 0 | Meme Classification | 0 |
| 1 | PyTorch basics | 2 |
| 2 | NN training | 2 |
| 3 | NN debug | 2 |
| 4 | CV | 4 |
| 5 | NLP | 4 |
Списывание (!): За списывание зануляются все работы. Если используете код из открытых источников, пожалуйста указывайте ссылки.
Сдача: Домашки будут сдаваться в github classroom. Чтобы получить инвайт, заполните, пожалуйста форму
В репозиториях с домашками не стоит трогать файлы тестов или файлы с github-action workflow. В домашках настроил автоматическое оценивание. Временем сдачи домашки будет считаться время, когда прошли пайплайны (то есть не время коммита, а время пуша + время на прогон тестов).
Кроме автоматического оценивания, конечно, я буду смотреть само содержание ноутбуков, давать фидбэк. За неоптимальные решения или за неправильные решения баллы могут снижаться. То есть оценка, которую вы получили в пайплайнах не конечная
Штрафы: За просрочку за каждый день будет сниматься по 10% от оценки, но суммарно штраф не может быть более 30%. Жестких дедлайнов нет. Если сдаешь через 3 дня домашку, штраф 30%. Если сдаешь через месяц, штраф тоже 30%
Автомат можно получить, если O_{hw} >= 6.0. В случае автомата итоговая оценка будет нормированной O_{hw}: O_{total} = 10/12 * O_{hw}
То есть для минимального автомата идеально сделать первые 3 домашки. Тогда O_{total} = (2 + 2 + 2) * 10 / 12 = 5
Письменный формат: вопросы по теории + практические задачи.
- Введение в глубинное обучение. Алгоритм обратного распространения ошибки.
- Функции активации, инициализация весов. Loss-функции, тренировочный цикл.
- Оптимизация нейросетей. Дропаут и нормализация по батчам.
- Практические советы по обучению нейросетей: best practises.
- Свёрточные нейросети. AlexNet, VGG, Inception, ResNet.
- Автокодировщики. Генеративныe нейронные сети.
- Введение в обработку естественного языка. Эмбеддинги. Рекуррентные нейронные сети.
- Seq2seq. Механизм внимания. Transformer.
- Transfer learning в NLP. BERTology.
- Из NLP в CV: Vision Transformers, CLIP.
- Курс Алексея Озерина
- Материалы с курса бакалавриата
- Курс ШАДа
- Курс Стендфорда про CV with DL --- есть не все темы, которые будут на нашем курсе, но материалы очень классные, используются и в лекциях, и в семинарах первой половины нашего курса.
- DLSchool --- много классных домашек и проект в конце курса, там есть и про NLP, и про CV, на некоторых прогонах затрагивали и работу со звуком (на ютубе можно найти записи прогонов прошлых лет, на степики старые прогоны курса тоже можно найти)
- Курс Стендфорда про NLP with DL --- один из лучших курсов про NLP
- Lena Voita --- классный блог и курс по NLP
- Jay Alammar, Sebastian Ruder --- еще популярные блоги про NLP
- distill.pub --- журнал с красивыми визуализациями
- paperswithcode --- сравнение разных архетектур/задач
- How To Read Papers
Гуглите: эти и многие другие материалы легко находятся, если вы пытаетесь разобраться в какой-то теме.
Читайте документацию: в Pytorch Docs, Pytorch Tutorials можно найти и описание методов, и формулы, и ссылки на статьи.
Читайте статьи: большинство концептов, которые мы проходим в этом курсе, были опубликованы в статьях, которые доступны на arxiv. Где следить за самыми современными методами: конференции NeurIPS, ICML, ICLR, CVPR, ACL, блоги крупных компаний Google AI, DeepMind, OpenAI, Meta AI.