Митап по продуктовой аналитике hh x Trisigma

Когда и где

18 марта в 18:30. Трансляция пройдет в VK и YouTube, ссылки на неё отправим незадолго до начала митапа.

Программа находок в этот вечер

Как мы в hh подошли к проблеме пересекающихся A/B-экспериментов

Когда A/B-тесты от разных команд пересекаются, их результаты искажаются, а время тратится впустую. Мы решили эту проблему, добавив в свою A/B-платформу прозрачную систему для координации команд разработки.

Из доклада вы узнаете, как в hh классифицируют тесты по юзерским флоу, как работает система бронирования слотов с оунерами и алертами. Расскажем о нашем процессе, в котором аналитики больше не выступают арбитрами – команды сами договариваются о приоритетах.

Доклад для всех, кто ищет эффективное решение для координации A/B-тестов в большой компании.

Семантический слой как путь к доверию AI-агенту

В докладе разберём, почему большинство AI Analyst «знают данные», но не понимают бизнес. Мы обсудим три популярных архитектурных подхода к AI Analyst – и где они ломаются, а также поговорим о неочевидных ограничениях DWH- и dashboard-first решений. Вы узнаете, почему семантический слой становится точкой опоры для AI-аналитики. В конце затронем вопросы, которые остаются открытыми даже при semantic-first подходе.

Увеличиваем эффективность рекламы с помощью budget-split тестов

Когда запускаешь много рекламных кампаний одновременно, ими становится сложно управлять. Кроме того, кампании начинают конкурировать друг с другом на одном и том же аукционе (каннибализировать трафик), и в итоге невозможно точно понять, какая из них сработала хорошо, а какая – нет.

Чтобы решить эту проблему, мы используем подход budget-split – разделение общего бюджета на отдельные независимые части. Это позволяет снизить внутреннюю конкуренцию и оценить эффективность каждой кампании почти в изоляции от остальных.

В докладе расскажем, как budget-split тестирование помогло hh:

• снизить операционную нагрузку;
• улучшить ключевые performance-метрики размещения;
• обеспечить статистическую валидность экспериментов при наличии сетевых эффектов.

Ведущая митапа – Мария Сапельникова, менеджер по продуктовому маркетингу в Trisigma.

Расписание

18:30-18:40 – стартуем

18:40-19:10 – Как в мы hh подошли к проблеме пересекающихся A/B-экспериментов

19:10-19:40 – Семантический слой как путь к доверию AI-агенту

19:40-20:10 – Увеличиваем эффективность рекламы с помощью budget-split тестов

20:10-20:30 – Q&A-сессия

За лучшие вопросы и находки на митапе дарим подарки!