Пожары в разработке под контролем: внедряем observability и умные алерты

Рост сервисов и высокие нагрузки всегда сопряжены с рисками: медленные ответы, ошибки, неожиданные падения. Совсем избежать инцидентов невозможно. Но команда должна успевать раньше, чем бизнес почувствует потери.

На митапе мы поговорим о том, как справляться с «пожарами» в разработке и сопровождении продуктов с помощью современных практик Observability и умного алертинга.

Митап будет полезен как менеджерам, которым важно держать под контролем надежность сервисов и минимизировать стоимость инцидентов. Так и инженерам, отвечающим за сопровождение продукта и уставшим от «пожаров» в проде.

Как перестать тушить пожары в разработке: внедряем Observability в существующий продукт не за миллиард денег, Олег Казаков, CTO в Spectr

Тезисы доклада: 

Любой проект рано или поздно сталкивается с ситуацией, когда что-то идёт не так: сервис отвечает медленно, пользователи жалуются на ошибки, а в логах куча строк, из которых ничего не ясно. Без полноценной наблюдаемости это превращается в мучительное расследование «вслепую».

Как всем известно, наблюдаемость держится на трёх столпах: метриках, логах и трейсах. В данном докладе я расскажу о том, как в короткие сроки внедрить базовый observability на примере Grafana стека: Grafana, Prometheus, Loki, Tempo. 

Почему мы пропускаем инциденты, и как это исправить: алертная слепота как барьер для Observability, Кирилл Грищук, Avito, Backend Team Lead в Core Services

Тезисы доклада: 

С ростом системы вопрос алертов становится неизбежным. И, вроде бы, все идет по плану: включают мониторинг, подключают уведомления. но через пару недель у разработчиков уже мини-инсульт от сотен сообщений в канале. В чем причина? 

1. Приходит много разных алертов даже тогда, когда система работает нормально.
2. Когда ничего не работает — они тоже приходят, и их уже игнорируют по привычке.
3. Алерты воспринимаются как доказательство, что «код работает» — раз хоть что-то пишет.

В итоге мы сталкиваемся с ситуацией, что алерты не выполняют свою функцию. Команда перестает на них реагировать, реальные проблемы пропускаются. Это и есть «алертная слепота».

В докладе мы разберем правила хорошего алертинга. Когда алерты сигнализируют о реальных проблемах; любой разработчик может решить проблему — есть инструкция, что делать; в логах релевантная информация. И рассмотрим четыре базовых шага: настройка границ, обобщение метрики, работа с короткими пиками, какую информацию включать в алерт.  

В конце доклада вы получите инструкцию, как настроить работу с алертами, а также полезные ссылки. 

Формат

Митап пройдет в онлайн-формате. Участие бесплатное, но необходима предварительная регистрация. 

Регистрируйтесь, готовьте свои вопросы и подключайтесь!