До начала пилота фиксируются вопрос, метрика и порог решения. Если после демонстрации нельзя принять решение о запуске или остановке, границы пилота определены неверно.
Один сквозной сценарий
Пилот охватывает полный путь одного типа задачи: от реального входа до результата пользователя. Нельзя проверять только красивый ответ модели, не проверяя данные, интеграцию и обработку ошибок.
Репрезентативные данные
Нужны обычные, редкие, сложные, конфликтующие и потенциально опасные примеры. Тестовая выборка отделяется от примеров, на которых настраивались правила и промпты.
Минимальный рабочий контур
В пилот входят авторизация, нужная интеграция, журналирование, ограничение прав, проверка выходов и безопасный резервный сценарий. Допустимо упростить интерфейс, но нельзя убрать контрольные механизмы, от которых зависит вывод.
- Рабочий вход данных
- Ограниченный ИИ-контур
- Валидация
- Ручная эскалация
- Логи и метрики
Две группы метрик
Технические метрики показывают качество, задержку, стабильность и стоимость. Бизнес-метрики — изменение времени процесса, ошибок, конверсии, пропускной способности или нагрузки.
Пилот не принимается по одной метрике модели, если она не связана с результатом процесса.
Решение после пилота
Финальный отчёт содержит результаты, типовые ошибки, ограничения, прогноз полной стоимости, требования к промышленной эксплуатации и одно из решений: масштабировать, изменить архитектуру, собрать дополнительные данные или остановить гипотезу.