В курсе разобраны основные принципы и инструменты по A/B тестам. Дан обзор необходимой теоретической базы и практических приемов проведения A/B тестов.
Курс состоит из двух занятий. На первом занятии дан обзор задач, решаемых с помощью A/B тестов. На втором занятии разобраны методы и практические особенности проведения A/B тестов.
- Введение в A/B тестирование
- Планирование и проведение A/B теста и выбор метрики
- Распределение случайной величины
- Выборочное среднее
- Центральная предельная теорема
- Проверка статистических гипотез
- Z-test и T-test
- Тест для пропорций (конверсий)
- Мощность критерия и ошибки I-го и II-го рода
- Оценка необходимого числа наблюдений в эксперименте
- Непараметрический тест Манна-Утни