В 2023-2024 годах компании начали массово внедрять решения на базе больших языковых моделей. Чаще всего это были чат-боты для поддержки клиентов, внутренние ассистенты и системы для работы с корпоративными данными. Однако с ростом популярности AI-агентов возникла новая угроза — jailbreak-атаки и промпт-инъекции. Лаборатория, тестируя различные виды атак, обнаружила, что можно обойти защиту большинства LLM-моделей с вероятностью 96%.
Индустрия признала проблему, но не знала, как ее решить. Компании надеялись, что защиту обеспечат разработчики LLM-моделей, но они предлагают защиту только от этических нарушений. Этого недостаточно для защиты от широкого спектра атак. С 2025 года начали развиваться регуляторные инициативы, такие как Приказ ФСТЭК №177, который требует регулярного тестирования AI-систем.

Компании, интегрирующие AI-решения сталкиваются с такими вызовами:

Чтобы снизить эти риски, команда разработала инструменты HiveTrace.

В письме злоумышленник вставляет скрытую инструкцию для LLM-ассистента, который обучается на входящих письмах. Далее при обращении сотрудника к AI-ассистенту тот выдает вредоносную ссылку — так осуществляется атака на внутренние бизнес-процессы и взлом корпоративных аккаунтов.

Злоумышленник присылает письмо со скрытой инструкцией в тексте или подписи. Когда сотрудник просит ассистента показать или резюмировать почту, ассистент извлекает содержимое письма в свой контекст и воспринимает внедренную инструкцию как часть задачи. Дальше возможны эффекты:

• выдача фишинговой ссылки,
• запуск инструментов почтового клиента,
• изменение правил пересылки или удаление писем,
• эксфильтрация данных через открытие URL.

Атака происходит на этапе инференса, обучение ассистента на письмах не выполняется.

Злоумышленник запускает автоматизированный скрипт, который одновременно отправляет тысячи однотипных запросов корпоративному чат-боту на основе LLM (например, массовые вопросы о статусе заказа или генерация сложных аналитических отчетов).

В результате сервис перегружается, начинает отвечать с задержкой либо полностью становится недоступным для сотрудников или клиентов компании. Это приводит к нарушению бизнес-процессов и снижению доступности цифровых сервисов.

AI-ассистенты, обученные, например, на Confluence или корпоративном таск-трекере, могут случайно или под воздействием атакующего выдать персональные данные сотрудников и контрагентов, зарплаты персонала и менеджмента или другие сведения, составляющие коммерческую тайну.

Чтобы предотвратить подобные угрозы, создали продукт HiveTrace. Он состоит из двух компонентов, применяемых на разных этапах работы AI-приложений.

Редтиминг HiveTrace Red — это фреймворк на Python. Сначала собирается набор тестовых запросов, затем они расширяются с помощью более 80 видов атак. Модель «жертва» отвечает на эти атаки, а система анализирует ответы и определяет, где модель уязвима. Все этапы сохраняются для аудита. Результаты отображаются в отчете: сколько атак прошло успешно, какие промты оказались опасными, и примеры реакций модели.

HiveTrace Red подключается через API или работает с локальными моделями, поддерживает любые платформы. Есть open source-версия на GitHub, а коммерческая версия содержит продвинутые атаки для сценариев необходимых для обеспечения безопасности корпоративных систем, веб-интерфейсом и CI/CD-интеграцией.

HiveTrace — это система защиты от атак, содержащая модель guardrail и функции мониторинга агентных систем. Она встраивается между запросами пользователя и ответами агентной модели в приложении. Она может пропускать сообщения или блокировать вредоносные запросы в реальном времени. Подключать HiveTrace можно как для отдельных приложений через официальный SDK, так и в режиме прокси, в котором HiveTrace выступает шлюзом трафика для целевой нейросети.

После отправки запроса все данные автоматически попадают в аналитическую платформу HiveTrace. Там можно отследить, какие сообщения и ответы были получены, увидеть аналитику безопасности, и контролировать, как пользователи и модели взаимодействуют. Это помогает вовремя выявлять нарушения и управлять рисками при работе с LLM.

Таким образом, мониторинг HiveTrace:

1. Проверяет входящие запросы на промпт-атаки и передачу персональных данных.
2. Анализирует ответы модели, выявляя утечки системного промпта, нарушение политики компании или конфиденциальности.
3. Уведомляет администраторов и SOC через почту, Telegram или SIEM-систему.

Технологии разработки AI-систем эволюционируют: от простых чат-ботов переходят к системам с агентами, требующим увеличенного числа взаимодействий, высокой скорости и повышенной надежности. Обеспечение безопасности и мониторинга таких систем становится всё более сложной задачей и требует целенаправленных решений.

В рамках редтиминга запланирована реализация многошаговых и адаптивных атак, а также расширение тематик тестирования: DDoS-атаки, извлечение конфиденциальных данных, получение сведений о внутренней инфраструктуре (IP-адреса и др.) и работа с более сложным вредоносным контентом.