Database Internals Meetup #9 (офлайн + онлайн): Exactly once в YDB и Передача сообщений в пайплайнах YT Flow

Трансляция:

• YouTube: 

https://youtube.com/live/uQHrfID3a6o

• VK:

https://vkvideo.ru/video-226977842_456239029

Приглашаем вас на девятый митап сообщества Database Internals. В программе два доклада от разработчиков из компании Яндекс, разрабатывающие разные продукты: YDB и YTsaurus

Мероприятие пройдет офлайн в офисе Яндекс по адресу г. Москва, ул. Льва Толстого д. 16, подъезд 3, 5-ый этаж, конференц-зал "Синий Кит".

Участвующим онлайн будет доступна трансляция на VK Video, YouTube и чат.

Мероприятие бесплатное. Регистрация обязательна. При очном участии обязательно наличие паспорта. Количество мест ограничено.

Трансляция мероприятия организована нашими друзьями из компании Яндекс.

Программа

19:00 – 20:00 Exactly once в YDB. Алексей Николаевский, Руководитель YDB Topics, Яндекс
20:00 – 20:10 Перерыв
20:10 – 21:10 Передача сообщений в пайплайнах YT Flow. Юрий Печатнов, разработчик YT Flow, Яндекс

Доклады

Exactly once в YDB

Алексей Николаевский,  руководитель YDB Topics, Яндекс

Exactly once - это сложно. Просто звучащее требование реализовать дорого. Когда у вас одна БД и транзакция над несколькими таблицами, exactly once получается из коробки. Но в реальном мире есть необходимость при обработке перекладывать данные из потокового брокера сообщений(например, из Apache Kafka) в БД, из БД в брокер сообщений, из одной БД в другую БД. Есть необходимость строить CDC ( Change Data Capture) по таблице. 

В докладе рассмотрим, как YDB позволяет решать эти задачи с гарантиями и как это устроено под капотом.

Передача сообщений в пайплайнах YT Flow

Юрий Печатнов, разработчик YT Flow, Яндекс

При распределённой потоковой обработке событий с большим графом обработки встаёт проблема контроля большого количества потоков. Она ставит множество вопросов: нужно отдавать приоритеты более остающим событиям, нужно понимать до какого момента в каждом потоке все данные точно обработаны, нужно не исчерпать всю оперативную память на машинках и так далее. 

Этот доклад даёт базовое предстваление об YT Flow - новом фреймворке для распределенной потоковой обработки событий, и о том, как в нём решаются перечисленные выше вопросы.

Полезные ссылки

• Telegram-чат сообщества: https://t.me/databaseinternalschat
• Анонсы предстоящий событий: https://databaseinternals.timepad.ru/events/