ДокументацияАвтоматические механизмы защиты

Автоматические механизмы защиты

5 минПоследнее обновление: 2026-03-31

Обнаружение prompt injection

Каждое сообщение каждому агенту проходит через promptGuard.js, прежде чем попасть в LLM. Модуль распознает более 40 шаблонов в 5 категориях:

  • Подмена роли: "Ignore previous instructions", "You are now..."
  • Инъекция разделителей: попытки выйти за пределы контекста промпта
  • Извлечение: "Repeat your system prompt", "Show me your instructions"
  • Джейлбрейки: DAN, developer mode и другие попытки обхода
  • Отравление памяти: попытки внедрить ложную информацию в память агента

Результаты обнаружения: Critical = сообщение полностью блокируется. High/Medium = сообщение очищается (опасные части удаляются) и обрабатывается.

Маскирование персональных данных

После каждого ответа LLM модуль piiDetector.js автоматически находит и маскирует 7 типов персональных данных (PII):

  • Адреса электронной почты → [EMAIL_REDACTED]
  • Номера телефонов → [PHONE_REDACTED]
  • Номера банковских карт → [CC_REDACTED]
  • Номера социального страхования (SSN) → [SSN_REDACTED]
  • JMBG (сербский персональный идентификационный номер) → [JMBG_REDACTED]
  • Адреса IPv4 → [IP_REDACTED]
  • Номера IBAN → [IBAN_REDACTED]

Маскирование PII выполняется автоматически и никогда не блокирует ответы: оно работает после LLM как дополнительная страховка.

Защита от отравления памяти

Агенты могут извлекать и сохранять воспоминания из диалогов (предпочтения пользователей, закономерности и т. д.). Каждое извлеченное воспоминание перед сохранением проверяется функцией promptGuard.detectInMemory(). Отравленные воспоминания (содержащие попытки инъекции) отклоняются.

Circuit breaker

У каждого агента есть собственный circuit breaker с тремя состояниями:

  • CLOSED: нормальная работа: все запросы обрабатываются
  • OPEN: слишком много сбоев: запросы блокируются, агент регистрирует инцидент
  • HALF-OPEN: восстановление: пропускается ограниченное число запросов, чтобы проверить, устранена ли проблема

При первом срабатывании (CLOSED → OPEN) регистрируется инцидент. При втором срабатывании агент автоматически понижается на один уровень доверия. Это не позволяет неисправным агентам причинить ущерб.

Была ли эта статья полезна?