Курс Байесовские методы анализа данных, ФТиАД 2020

Где и когда

Занятия проходят по понедельникам, 18:10 — 21:00, онлайн (но не всегда).

Ссылки

Чат в telegram: https://t.me/joinchat/DEBCqh3GZoWaCC8qhYLw1g

Anytask курса (инвайт 1hgezx4)

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

Домашние работы (на Python/NumPy, ориентировочно две работы)
Контрольная работа в середине модуля
Экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

O_{итоговая} = 0.33 * О_{домашние задания} + 0.33 * О_{контрольная работа} + 0.34 * О_{экзамен}

Оценка за домашнюю работу вычисляется как среднее по домашним заданиям. К итоговой оценке применяется арифметическое округление.

После занятий будут выдаваться теоретические задания для самостоятельной работы. Эти задания не сдаются и не проверяются, но могут встретиться в контрольной работе или экзамене (или похожие задания).

Экзамен и контрольная работа

Вопросы к контрольной работе

Экзамен и контрольная работы письменные (проводятся очно), работа состоит из теоретических вопросов из списка вопросов и теоретически задач в пропорции 50/50. Продолжительность написания: 1 час 30 минут. На экзамене и контрольной работе можно пользоваться одним листом размера А6 (четверть А4), написанным от руки.

Правила сдачи домашних заданий

У домашнего задания есть два дедлайна: мягкий и жесткий. Жесткий дедлайн обычно через неделю после мягкого. За сраду после мягкого дедлайна применяется штраф -1 балл за каждый день просрочки. После жесткого дедлайна сдать работу нельзя.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам. Это очень строгое правило!

Материалы занятий

Занятие 1. Введение в байесовские методы. Сопряженные распределения

Презентация
Задачи на занятии
Задание для самостоятельной работы (кроме пункта 6)

Занятие 2. Байесовская линейная регрессия

Презентация

Занятие 3. Вариационный вывод и байесовские нейронные сети

Занятие 4. Методы Markov Chain Monte Carlo

Занятие 5. Гауссовские процессы и байесовская оптимизация

Презентация

Занятие 6. Модели с латентными переменными и EM-алгоритм

Задания

Задание по байесовской линейной регрессии. Дедлайн: 23:59 29.09.20.
Задание по EM-алгоритму. Дедлайн: 23:59 24.10.2020 (жесткий)

Полезные материалы

Книги:

Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.

Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений.

Памятка по теории вероятностей.

Sunamur / BM2020