ExperimentFest#17

ДАТЫ ПРОВЕДЕНИЯ

5 ноября

7 ноября

12 ноября

14 ноября

19 ноября

22 ноября

26 ноября

28 ноября

ПРОГРАММА

Первый день. Математическая статистика как инструмент анализа A/B-тестирований.

• Какие бывают эксперименты
  Введение: типы экспериментов, типы метрик и обзор тем курса
• Описательные статистики
  Базовый курс математической статистики: что такое дисперсия, стандартное отклонение, квадратичная ошибка и ЦПТ

Второй день. Статистические критерии для проверки основных типов метрик: параметрика, непараметрика.

• Статистические критерии
  Обзор классических статистических критериев. Почему для одной гипотезы подойдет критерий Стьюдента, а для другой Манн-Уитни

Третий день. Определение времени на продолжительность эксперимента и обзор темы чувствительности метрик

• Fixed Horizon и MDE. Расчет прогноза остановки эксперимента.
  Сколько нужно данных для проведения эксперимента и как посчитать минимальный объем выборки
• A/B/X-тестирования: множественная проверка гипотез
  Поправка на множественное сравнение и как множественная проверка гипотез сказывается на ошибки первого и второго рода.

Четвертый день. Расширенные инструменты математической статистики для анализа экспериментов.

• Бутстрап
  Повторные выборки и квантильная оценка А/Б-экспериментов
• Бакетирование и трансформирование метрик
  Как привести распределение к нормальному, оптимизировать метрику и ускорить расчеты эксперимента с помощью бакетов
• Методы проверки качества систем сплитования: A/A-тестирования
  Какими способами можно проверять качество сплитования пользователей в эксперименте

Пятый день. Оптимизация скорости проведения экспериментов и ratio-метрики

• Ускорение экспериментов: CUPED, стратификация
  Разберем теорию и закрепим на практике (демонстрации и задания) разные способы увеличения чувствительности метрик в эксперименте для сокращения времени проведения a/b тестов.
• Ratio-метрика: дельта-метод, линеаризация, бутстрап и еще раз про бакетирование
  Обзор проблемы расчета дисперсии и оптимизация bias'a для ratio-метрик. Благодаря линеаризации появляется возможность работать с ratio-метриками и увеличить их чувствительность

Шестой день. Не лекционный день.

• Q&A
  Разбор вопросов и кейсов студентов, накопившиеся за 2 недели материала

Cедьмой день. Симуляции и автоматизация A/B

• Monte-Carlo и синтетические эксперименты | только для продвинутого блока
  Обзор Monte-Carlo процесса: расчет чувствительности метрик и времени на эксперимент непараметрическим методом. Ведение новой мета-метрики качества метрик – направленность
• Разработка метрик и pipeline их расчета | только для продвинутого блока
  Обзор организации автоматизации расчетов метрик. Как придумать любую метрику с помощью числителей и знаменателей

Восьмой день. Расширенные методы математической статистики для анализа экспериментов

• Offline-эксперименты: проблематика и обзор дизайнов | только для продвинутого блока
  Обзор популярных статистических подходов, используемые в дизайне offline-экспериментов, переход к альтернативным единицам рандомизации: гео-хрон эксперименты в delivery- / ride- сервисах(switchback), подбор точек в retail / dark kitchen / dark store, синтетический контроль, network эффекты, эксперименты в социальных сервисах
• Sampling Bias и эффект новизны | только для продвинутого блока
  В каких случаях приходится сталкиваться с систематической ошибкой смещения выборки и как с ней бороться