Guardrails для LLM: open source, оценка моделей и новые возможности HiveTrace

Разработка и оценка guardrail-моделей для защиты LLM- и Agentic-приложений.

Guardrails помогают контролировать взаимодействие с LLM и выявлять потенциально опасные запросы и ответы. Но как оценить качество разных моделей, выбрать подходящую под свой сценарий и настроить детекцию под реальные задачи?

На вебинаре команда HiveTrace поделится своими наработками в области Guardrails: поговорим об open-source разработках, инструментах для оценки и сравнения моделей и новых возможностях HiveTrace.

Никита Облаков расскажет о новой open source guardrail-модели.

Расскажем о новой guardrail-модели HiveTrace - HiveTraceGuard-Pro. Она будет полностью открытой вместе с подробным техническим отчётом: модель можно будет изучить, забрать к себе или использовать через API Cloud.ru. На вебинаре расскажем, как мы её разрабатывали и что получилось. 

Софья Балаба расскажет как сравнивать guardrail-модели в равных условиях.

Расскажем про GuardRate Leaderboard — наш инструмент, который автоматизирует оценку guardrail-моделей. Мы его используем в процессе дообучения наших внутренних моделей, что позволяет выбрать лучшую и сравнивать их с opensource.

Даниил Капустин о новых возможностях HiveTrace

Новая multilabel-модель в HiveTrace - она определяет вероятности по 15 классам вредоносности и позволяет отдельно настраивать пороги блокировки для каждого класса.

Кому будет полезно

MLSecOps, ML/DS/LLM-специалистам и ИБ-командам, а также специалистам и менеджерам компаний, которые уже используют LLM- и Agentic-приложения в проде или планируют их внедрение.

В конце вебинара оставим время на вопросы участникам и обсуждение с командой HiveTrace.