Database Internals Meetup #12 (офлайн + онлайн): DataFusion в Tarantool Column Store и Marrying OLTP+OLAP with Dynamic Tables in YTsaurus

Приглашаем вас на двенадцатый митап сообщества Database Internals. 

Мероприятие пройдет в офисе VK Tech, БЦ "Скайлайт", в конференц-зале Б1. Адрес БЦ: Ленинградский проспект, 39, стр. 80.
Для прохода в здание нужен паспорт или права.

Участвующим онлайн будет доступна трансляция на VK Video, YouTube и чат.

Мероприятие бесплатное. Регистрация обязательна. При очном участии обязательно заполнить форму регистрации и наличие паспорта/в.у. Количество мест ограничено.

Регистрируясь на мероприятие, вы даете согласие на обработку персональных данных в соответствии с Соглашением об оказании услуг по организации участия в мероприятиях

Трансляция мероприятия организована нашими друзьями из компании VK Tech.

Программа

18:00 - 19:00 Сбор гостей

19:00 - 20:00 DataFusion в Tarantool Column Store: ограничения движка и способы их обхода. Артем Новиков, Старший Backend-разработчик, Tarantool, VK Tech (со-автор доклада Альберт Скальт, Старший Backend-разработчик, Tarantool, VK Tech)

20:00 - 20:10 Перерыв

20:10 - 21:10 Marrying OLTP+OLAP with Dynamic Tables in YTsaurus. Руслан Савченко, Руководитель службы разработки динамических таблиц в Яндексе

21:00 - 23:00 Афтепати

Доклады

DataFusion в Tarantool Column Store: ограничения движка и способы их обхода.

Артем Новиков, Старший Backend-разработчик, Tarantool, VK Tech (со-автор доклада Альберт Скальт, Старший Backend-разработчик, Tarantool, VK Tech)

В докладе рассмотрим устройство колоночной СУБД для транзакционно-аналитической обработки данных в реальном времени Tarantool Column Store, где в качестве движка запросов используется DataFusion. Это достаточно известный движок с открытым исходным кодом и, казалось бы, легко расширяемый, с превосходной производительностью и богатым функционалом. Однако, тут есть свои нюансы и ограничения. Расскажем о тех, с которыми мы столкнулись при разработке TCS, и о том, какие решения приняли:
- как решили проблему высокого latency обработки запросов из-за перепланирования,
- как при разработке шардированного колоночного хранилища решали задачу обработки распределенных SQL запросов, какие идеи пробовали и на чем остановились,
- какие из патчей смогли уйти в upstream, а где пришлось идти на компромиссы.

Marrying OLTP+OLAP with Dynamic Tables in YTsaurus

Руслан Савченко, Руководитель службы разработки динамических таблиц в Яндексе

В базах данных принято различать OLTP и OLAP: первое требует большого количества небольших строго изолированных транзакций, тогда как второе предполагает гораздо более ресурсоёмкие запросы, но с гораздо меньшей частотой. СУБД обычно ориентированы на один из этих сценариев — если не по изначальному замыслу, то просто вследствие фокуса оптимизаций в течение жизненного цикла. Перенести тяжёлую OLAP‑нагрузку в СУБД, оптимизированную под OLTP — весьма непросто, однако в случае успеха можно получить ряд преимуществ: меньше систем для обслуживания, надёжные гарантии при загрузке данных, упрощённое распределённое шардирование.
В докладе будет рассказано о миграции масштабной базы данных из ClickHouse в динамические таблицы YTsaurus. ClickHouse — широко известная OLAP СУБД. Динамические таблицы YTsaurus — СУБД класса NewSQL, которая активно используется внутри Яндекса. Разберём, какую разработку мы провели, чтобы адаптироваться к модели данных ClickHouse, и какие оптимизации реализовали, чтобы динамические таблицы YTsaurus смогли обрабатывать аналитические запросы с нужной производительностью.

Полезные ссылки

• Telegram-чат сообщества: https://t.me/databaseinternalschat
• Анонсы предстоящий событий: https://databaseinternals.timepad.ru/events/