Lakehouse Meetup #4: аналитическая экосистема на основе Trino в Avito, архитектура и возможности CedrusData Catalog

Продолжаем делиться с вами информацией о реальных кейсах внедрения Trino и Iceberg в России, и рассказывать о внутреннем устройстве продуктов CedrusData.

Не забудьте посмотреть записи докладов прошедших митапов, и подписаться на Telegram-сообщества Trino/CedrusData и Apache Iceberg.

Программа

18:30–19:30 Доклад "Trino в Авито спустя два года: от движка к аналитической экосистеме"

Дмитрий Рейман, Tech Lead в Analytics Platform, Авито 

Trino стал основой нашей аналитики, но сам по себе движок не делает платформу. Чтобы построить современный DWH, мы развивали все ключевые компоненты Lakehouse: высоконагруженное и масштабируемое хранилище, стабильный и функциональный каталог, управляемую инфраструктуру — и дорабатывали сам Trino для поддержки моделей вроде Data Vault. Сегодня наша платформа обрабатывает до 1 ПБ данных в день и обслуживает 300 активных пользователей. 

В этом докладе — практический опыт развития Lakehouse как системы: что пришлось строить вокруг Trino, и почему этого не избежать. Всё, что нужно знать, если вы собираетесь жить на Lakehouse.

19:30–20:30 Доклад "CedrusData Catalog — Современный каталог для lakehouse-платформ"

Владимир Озеров, Генеральный директор, Кверифай Лабс / CedrusData

Каталог метаданных является центральным компонентом lakehouse-платформ, основанных на технологии Apache Iceberg. В докладе я расскажу про CedrusData Catalog — бесплатный каталог метаданных для российского рынка.

Рассмотрим основные возможности продукта: ролевая модель доступа, maintenance таблиц Iceberg, поддержка time-travel, ускорение аналитических запросов с помощью материализации повторяющихся вычислений, расширение возможностей каталога с помощью плагинов, работа с S3/HDFS/Ozone.

Обсудим дальнейшие планы по развитию: fine-grained контроль доступа (маскирование, row-level security, ABAC), автоматическое обслуживание таблиц, продвинутый time-travel, расширенные метаданные для оптимизаторов движков, и другое.