Database Internals Meetup #8 (офлайн + онлайн): Автофейловер и данные в двух датацентрах и Алгоритмы для непрерывной обработки запросов

Приглашаем вас на восьмой митап сообщества Database Internals. В программе два доклада от разработчиков из компании VK Tech и руководителя направления больших данных Исследовательского института Ломоносова.

Мероприятие пройдет офлайн в офисе VK Tech по адресу г. Москва, Ленинградский пр-т, д. 70, БЦ "Алкон", вход "Север", этаж 3, конференц-зал. 

Участвующим онлайн будет доступна трансляция на VK Video, YouTube и чат.

Мероприятие бесплатное. Регистрация обязательна. При очном участии обязательно наличие паспорта. Количество мест ограничено.

Трансляция мероприятия организована нашими друзьями из компании VK Tech.

Программа

18:00 – 19:00 Автофейловер и данные в двух датацентрах. Александр Туренко и Георгий Белянин, разработчики VK Tech
19:00 – 19:10 Перерыв
19:10 – 20:10 Алгоритмы для непрерывной обработки запросов. Рене ван Беверн, руководитель направления больших данных, Исследовательский институт Ломоносова

Доклады

Автофейловер и данные в двух датацентрах

Александр Туренко и Георгий Белянин, разработчики VK Tech

Широко известен алгоритм RAFT, в котором главный узел выбирается голосованием внутри кластера. Для RAFT'а надо минимум три ЦОДа, это довольно затратно. В докладе рассматривается подход с внешним арбитром и СУБД в двух ЦОДах. Расскажем про разные аварии, нюансы распределенных блокировок а-ля redlock, про fencing tokens, двухфазные вызовы, плюсы и минусы внешнего состояния, особенности разбора проблем и подходы к усилению мощности тестирования.

Алгоритмы для непрерывной обработки запросов

Рене ван Беверн, руководитель направления больших данных, эксперт по обработке больших данных в реальном времени, Исследовательский институт Ломоносова 

Непрерывная обработка запросов позволяет проводить анализ потоков данных в реальном времени, но создает алгоритмические проблемы из-за неограниченного объема данных, строгих ограничений по задержке и непредсказуемой динамики потоков. В этом докладе рассматриваются основные алгоритмические методы, лежащие в основе современных систем анализа потоковых данных, таких как Apache Flink, включая эффективные агрегации над окнами, инкрементальные вычисления, управление состоянием, отказоустойчивость, приближённую и адаптивную обработку запросов.

Полезные ссылки

• Telegram-чат сообщества: https://t.me/databaseinternalschat
• Анонсы предстоящий событий: https://databaseinternals.timepad.ru/events/

Карта проезда

Как_добраться_до_офиса_VK_Tech_БЦ_Алкон,_м_Сокол.pdf