Секреты, пароли и критичные данные не должны попадать в модель по умолчанию. Доступ разрешается только после классификации данных, выбора режима обработки и настройки технических ограничений.
Классифицируйте данные до интеграции
Разделите публичные, внутренние, конфиденциальные, персональные и строго ограниченные данные. Для каждого класса определите допустимый провайдер, регион обработки, срок хранения и круг пользователей.
Нельзя передавать весь документ только потому, что модели нужен один факт. Минимизация контекста снижает риск и стоимость.
- Класс данных
- Владелец
- Правовое основание
- Регион обработки
- Срок хранения
- Допустимые получатели
Не доверяйте входному тексту
Документы, письма, веб-страницы и сообщения могут содержать инструкции, которые пытаются изменить поведение модели. Это prompt injection: внешний текст нельзя смешивать с системными правилами без разделения ролей и ограничений.
Защита строится слоями: фильтрация источников, изоляция контента, allow-list инструментов, ограничение прав, проверка выходных данных и запрет модели самостоятельно повышать доступ.
Ограничьте действия модели
LLM не должна получать универсальный ключ к CRM, почте или файловому хранилищу. Каждый инструмент предоставляет минимальную операцию с отдельной авторизацией, валидацией аргументов и журналом.
Критичные изменения требуют подтверждения человеком или детерминированного правила вне модели.
- Минимальные привилегии
- Разделение чтения и записи
- Подтверждение опасных действий
- Ограничение частоты и объёма
- Аудит каждого вызова
Продумайте RAG и источники
Поиск по базе знаний не делает ответ автоматически безопасным. Нужны права на уровне документов, фильтрация по пользователю, версионирование источников и показ доказательства, на котором основан ответ.
Удалённый или устаревший документ должен переставать участвовать в выдаче управляемо, а не после случайной переиндексации.
Подготовьте эксплуатационный контур
Необходимо журналировать версии промптов, модели, источники, инструменты и результат проверок — без записи лишних персональных данных. Должны существовать отзыв доступа, удаление данных, расследование инцидента и безопасный резервный сценарий.
Практику удобно сверять с NIST ИИ RMF и профилем для генеративного ИИ, а риски приложений — с OWASP Top 10 for LLM Applications.
Ориентиры и стандарты
Материал опирается на практику проектирования и следующие открытые источники: