Бесплатный meetup «Исполнение запросов: Trino и Spark»

Специализированный учебный центр по технологиям Big data — Школа Больших данных. https://www.bigdataschool.ru/ запускает новый курс обучения TRINO для инженеров данных, в поддержку которого мы проводим второй бесплатный 2х часовой митап о современном SQL движке с отрытым кодом Trino.

Trino – это распределенный SQL движок, разработанный для работы с большими датасетами, распределенными между одним или несколькими неоднородными источниками данных

На meetup мы на развернутом в яндекс-облаке кластере разберемся с тем, как Trino исполняет запросы. Кратко вспомним, как это делает другой движок – Apache Spark.

Погрузившись в детали процесса исполнения запросов (stage, task, driver), на примере некоторых типовых запросов к данным бенчмарка  TPC-DS познакомимся с работой планировщика Trino и сравним процесс выполнения запроса в Trino с тем, как аналогичные вычисления выполняет Apache Spark, постараемся разобраться с причинами более высокой производительности, которую достигает Trino.

Во время митапа участники смогут самостоятельно поработать с Trino, подготовленная в юпитер ноутбуках среда сделает процесс работы с Trino максимально удобным.

Участники получат раздаточные материалы, а также набор упражнений с целью закрепления полученных навыков.

Аудитория: аналитики, архитекторы платформ данных, инженеры данных, разработчики и просто интересующиеся современными технологиями обработки данных.

Уровень подготовки:

специальной подготовки не требуется, все будет происходить в интерактивной среде подготовленной нашей школой в Yandex Cloud

 Программа meetup (кратко)

1. Краткий обзор
   1. История
   2. Архитектура
   3. Обзор рабочего кластера (trino, spark)
   4. Обзор рабочего места – как «общаемся» с движками
2. Процесс исполнения
   1. Принципы исполнения запросов в trino
   2. Подход к анализу процесса исполнения
   3. Принципы исполнения запросов в spark
   4. Подход к анализу процесса исполнения
3. Сравнение на реальных запросах
   1. Кратко о бенчмарке TPC-DS
   2. Обзор подготовленных данных
   3. Сравнение движков
4. Заключение и выводы                

Продолжительность meetup: 2 академических часа, дистанционно. Trino кластер будет доступен участникам митапа 2 часа после окончания meetup.

Контактная информация: info@bigdataschool.ru или +7 (495) 41-41-121, +7 (995) 100 45 63 или @Bigdataschool_msk