Лабораторная работа «Apache Kafka основы»

За 4 часа вы:

• Развернёте Kafka-кластер (KRaft, без ZooKeeper) одной командой Docker Compose

• Спроектируете топики orders_raw и orders_cdc с правильным числом партиций

• Увидите, как ключ сообщения влияет на порядок внутри партиции

• Масштабируете чтение — запустите потребителей в группе и увидите ребаланс

• Настроите политики хранения (retention) и поймёте влияние на стоимость и лаг

• Научитесь диагностировать проблемы: offsets, lag, describe-конфиги

✅ Что такое Apache Kafka (вкратце)?

Apache Kafka — распределённая шина сообщений и потоковая платформа. Ключевые понятия: topic, partition, producer/consumer, consumer group, offset, retention. Порядок сообщений гарантируется только внутри партиции; распределение по партициям определяется ключом (key-based routing).

Kafka сегодня — стандарт де-факто для событийных и потоковых интеграций: от заказов и платежей до телеметрии и логистики. Понимание Kafka необходимо системным аналитикам и архитекторам для проектирования современных распределённых систем.

✅ Для кого

Системные аналитики, архитекторы, тимлиды, PM/PO, разработчики, все, кто:

• Хочет научиться описывать события/контракты и понимать ограничения порядка

• Принимает решения по партиционированию, ретеншену, масштабированию

• Хочет реалистично оценивать риски и сроки интеграций в событийной архитектуре

Не нужно: быть гуру программирования.

Нужно: базовые знания Docker/Compose и HTTP/JSON.

✅ Программа мероприятия

Блок 1: Запуск стенда (30 мин)

Поднимем Kafka (KRaft) + Kafka UI + kcat в Docker Compose — одной командой.

Блок 2: Проектирование топиков (45 мин)

Спроектируем два топика — orders_raw и orders_cdc — с 3 партициями под горизонтальный масштаб.

Блок 3: Продюсеры и ключи сообщений (45 мин) ⚔️

Ключевой блок! Прогоним поток событий с ключом order_id и наглядно увидим, как ключ закрепляет порядок внутри партиции.

• Отправка сообщений с ключом и без ключа

• Наблюдение распределения по партициям через Kafka UI

• Анализ влияния ключа на порядок обработки

Блок 4: Потребители и consumer groups (45 мин)

Запустим двух потребителей в одной группе и посмотрим ребаланс (шардинг партиций).

Блок 5: Retention и политики хранения (30 мин)

Поиграем retention.ms и обсудим влияние на стоимость, лаг и повторное потребление.

Блок 6: Диагностика (45 мин)

Offsets, lag, describe-конфиги, «куда делись сообщения?» — как правильно интерпретировать.

✅ Вы уйдёте с результатами

Компетенции, которые вы прокачаете:

✓ Понимание, как выбирать ключи и число партиций под нужный RPS и требования к порядку

✓ Умение читать и объяснять метрики потребления (lag/offset) и риски потерь при неверных настройках

✓ Навыки диагностики проблем Kafka через CLI и UI

✓ Понимание влияния политик хранения на стоимость и производительность

Что получите «на руки»:

✓ docker-compose.yml для Kafka-кластера (KRaft)

✓ Скрипты создания топиков и проверок

✓ Схема «ключ → партиция → порядок»

✓ Доступ к стенду на 7 дней для самостоятельной практики

✅ Чем эта лабораторная отличается

✓ Инженерный фокус без программирования: все эксперименты — конфигурацией и командной строкой

✓ Актуальная архитектура: KRaft-кластер без ZooKeeper, современный UI и best-practices

✓ Промышленный кейс: Shop&Ship (заказы/CDC/обогащение), а не абстрактные примеры

✓ Полный цикл: от запуска до диагностики реальных проблем

✅ Предпосылки и формат

Требования к участникам:

• Базовые знания Docker/Compose

• Понимание основ HTTP/JSON

• Желание разобраться в event-driven архитектурах

Формат проведения:

• Онлайн, длительность 4 часа

• ~70% практики, 30% теории

• Работа на готовом Docker-стенде

• Все шаги воспроизводимы командами из раздатки

✅ Дальнейший маршрут развития

После этой лабораторной рекомендуем:

• Kafka Connect — интеграции без кода

• Debezium — CDC (Change Data Capture)

• ksqlDB/Flink SQL — потоковые витрины

• Prometheus+Grafana — наблюдаемость Kafka и lag

• Другие лабораторные сообщества: Docker, Kubernetes, PostgreSQL, OpenAPI

Даты проведения:

• Ближайшая дата: 20 июня 09:00 - 13:00 МСК

Что получают участники:

• [x] Запись лабораторной работы

• [x] Презентация и методические материалы

• [x] Готовые скрипты и конфигурации

• [x] docker-compose.yml для Kafka-кластера

• [x] Доступ к стенду на 7 дней для самостоятельной практики

Поддержка после мероприятия:

• [x] Закрытый чат для участников

• [x] Ответы на вопросы в течение 14 дней

• [x] Дополнительные материалы по теме Kafka

Ведущий: Сергей Булатов

• Экспертиза: Apache Kafka, event-driven архитектуры, потоковая обработка данных

• Практический опыт построения потоковых систем обработки данных на базе Kafka