DUC meetup #1: приручаем Cilium и строим домашний LLM-кластер на Deckhouse

Программа

Cilium: всё, о чём вы догадывались, но боялись спросить — Дмитрий Попков, «Флант»

В основе работы сетевой подсистемы в Deckhouse Kubernetes Platform лежит модуль cni-cilium. Как несложно догадаться из названия, он основан на проекте Cilium.

Из доклада Дмитрия вы узнаете, что такое Container Network Interface и как Cilium реализует этот стандарт. Мы разберём, как Cilium устроен «под капотом», а также его функциональные возможности и особенности. Отдельно поговорим о процессе обработки трафика и подходах к диагностике и выявлению неисправностей при использовании Cilium в продакшене.

О спикере: Архитектор решений Deckhouse. Начинал карьеру как коренной сетевой инженер, несколько раз добрался до сертификации CCIE, далее ушёл в архитекторы с целью расширить общий кругозор — в этой роли и продолжает работать сейчас. Более 10 лет опыта в сетях, инфраструктуре и в целом в ИТ.

Разделяй и шардируй: бюджетный домашний GPU-кластер для распределённого инференса с vLLM, Deckhouse и Ray — Александр Подмосковный, «Московский кредитный банк»

В своём докладе Александр поделится, как сделать вход в мир ИИ проще и доступнее, нацелившись на запуск крупных языковых моделей без внушительных бюджетов. Используя Proxmox для проброса GPU, Kubernetes-кластер под управлением Deckhouse и инструменты вроде vLLM и Ray Serve, он покажет, как организовать эффективный и масштабируемый инференс, не переплачивая за инфраструктуру. 

Вы узнаете, как подключить удобный веб-интерфейс (OpenWebUI) и обеспечить безопасность через CDN/WAF. А в итоге увидите, что выделить домашний кластер под серьёзные AI-задачи — вполне реальная, захватывающая и экономная авантюра.

О спикере: Руководитель центра компетенций технологий взаимодействия с клиентом. В МКБ с 2014 года. Сначала развивал CRM-направление, затем возглавил отдел разработки. С 2019 года руководит центром компетенций: отвечает за развитие CRM, BPM и SAS. Помимо основных обязанностей, активно внедряет DevOps-практики, участвует в создании отказоустойчивых микросервисных систем, исследует IaaS, PaaS, SaaS, а также внутренние механизмы и модели в сфере ИИ.  

Q&A-сессия

После докладов проведём расширенную сессию вопросов и ответов. Для неё к спикерам присоединятся коллеги из «Фланта» и МКБ: Павел Тишков, технический директор Deckhouse Virtualization Platform, и Александр Шишко, техлид DevOps.

Расписание

18:15 – 19:00 | Регистрация. Сбор гостей

19:05 – 19:35 | Cilium: всё, о чём вы догадывались, но боялись спросить

19:35 – 20:05 | Разделяй и шардируй: бюджетный домашний GPU-кластер для распределённого инференса с vLLM, Deckhouse и Ray

20:05 – 20:30 | Кофе-брейк

20:30 – 21:00 | Расширенная Q&A-сессия

21:00 – 22:00 | Нетворк

Где и когда встречаемся офлайн

Встречаемся 20 мая в лофте «Событие» по адресу Николоямская улица, 28. Ближайшая станция метро — «Таганская». Программа начнётся в 19:00, сбор гостей — с 18:15.

Внимание, остались места только на онлайн-трансляцию

Места на офлайн в Москве закончились, но вы можете присоединиться к онлайн-трансляции или ВКонтакте или на YouTube: 


Если вы хотите получить письмо-напоминание со ссылкой на трансляцию, зарегистрируйтесь в форме ниже: