Canary и eval-gates для AI-агента: golden-set и rollback за 30 дней
Canary + eval-gates для AI-агента в проде за 30 дней — это golden-set, жёсткие score thresholds, поэтапный трафик, auto-rollback и именной on-call. Без…
Canary + eval-gates для AI-агента в проде за 30 дней — это golden-set, жёсткие score thresholds, поэтапный трафик, auto-rollback и именной on-call. Без ворот «модель обновили — посмотрим в чате» превращается в инцидент с клиентами. Я не путаю это с общим observability-пакетом «логи + red-team + scorecard на 14 дней» и не свожу к очередям/retry. Здесь ось — как безопасно катить новую версию агента и кто откатывает, когда score падает. У классического API canary смотрит latency/5xx. У агента ломается не инфраструктура, а поведение: ответ формально 200, но не тот. Поэтому ворота строятся вокруг качества ответа, а не вокруг доступности. Ниже — рабочий контур на 30 дней: что собрать в golden-set, какие пороги ставить, как лить трафик, что триггерит откат и кто за это отвечает в 3 часа ночи.
Что именно ломается у агента и почему 5xx не ловит проблему
Классический мониторинг отвечает на вопрос «жив ли сервис». Для агента этого мало: сервис жив, а ответы деградировали. Типовые поломки, которые не видны в latency и кодах ответа:
- Смена модели или версии промпта меняет тон, формат, длину ответа. Клиент получает другой продукт при том же 200 OK.
- Дрейф на инструментах: агент перестал вызывать нужный tool, начал вызывать лишний, поменял порядок шагов.
- Галлюцинации в фактах: цифры, сроки, условия, которых нет в базе знаний.
- Обрыв контекста: длинные диалоги теряют начало, агент повторяет вопросы.
- Утечки системного промпта или внутренних инструкций в ответ.
- Рост стоимости на диалог при том же качестве — тихая деградация, которую видно только в биллинге.
Вывод: ворота должны мерить поведение — score по golden-set, долю отказов инструментов, стоимость на диалог, наличие запрещённых фраз. Всё это — отдельный слой поверх обычного observability, а не замена ему.
Golden-set: что в него кладут и сколько это стоит по времени
Golden-set — фиксированный набор диалогов и задач с эталонными ответами или критериями приёмки. Это не «100 вопросов из головы», а срез реального трафика плюс краевые случаи.
Состав на старте (оценка по практике — 150–300 кейсов достаточно, чтобы ловить регрессии, а не шум):
| Категория | Доля | Что внутри |
|---|---|---|
| Массовые сценарии | 50–60% | Топ-запросы из логов за последние 2–4 недели |
| Краевые случаи | 15–20% | Пустой ввод, оффтоп, мультиязык, длинные диалоги |
| Отказные сценарии | 10–15% | Запросы, на которые агент обязан отказать или эскалировать |
| Безопасность | 5–10% | Попытки вытащить промпт, обойти правила, инъекции |
| Регрессии прошлых инцидентов | 5–10% | Каждый прод-инцидент превращается в кейс навсегда |
Правила, без которых golden-set бесполезен:
- Версионируется в git вместе с промптами и конфигом.
- Пополняется из прод-логов — раз в неделю разбор новых диалогов, минимум 5–10 кейсов.
- Каждый инцидент → новый кейс в тот же день, иначе повторится.
- Эталон не «идеальный текст», а критерии: факт верный, формат соблюдён, нет запрещённых фраз, tool вызван. Точное совпадение строк для генеративного ответа — плохая метрика.
Разметка — самая дорогая часть. Реалистично: 2–4 дня работы одного человека на первый набор, дальше по 2–4 часа в неделю на поддержку.
Eval-gates: пороги, которые останавливают релиз
Eval-gate — автоматическая проверка новой версии агента против golden-set перед выкаткой и во время неё. Гейт бинарный: прошёл — катим, не прошёл — стоп. Никаких «в целом норм».
Метрики, которые имеет смысл держать в гейте:
- Task success rate — доля кейсов, где цель достигнута. Порог задаётся от текущего продакшн-уровня, а не от абстрактных 95%. Если сейчас 78% — гейт на 76–77%, ниже — блок.
- Faithfulness / groundedness — доля ответов без утверждений вне базы знаний. Критично для агентов поддержки и продаж.
- Tool-call accuracy — правильный инструмент, правильные аргументы.
- Refusal correctness — доля корректных отказов в отказных кейсах.
- Safety pass rate — 100% на кейсах безопасности, без исключений.
- Стоимость на диалог — рост более чем на 20–30% относительно baseline требует объяснения.
- P95 latency — как у обычного API, но вторична.
Пороги фиксируются в конфиге и меняются только через ревью, а не «на глаз в день релиза». Иначе гейт превращается в формальность.
Поэтапный трафик: как катить версию
Схема выкатки для агента отличается от API тем, что сравнивать надо не только метрики инфраструктуры, но и поведение на живом трафике.
- Offline eval — новая версия прогоняется по golden-set. Провал — стоп, дальше не идём.
- Shadow — новая версия обрабатывает реальный трафик параллельно, ответы не отдаются клиенту, сравниваются с текущей. 1–3 дня.
- Canary 5% — реальные клиенты, но малая доля. Auto-rollback по порогам онлайн-метрик.
- Canary 25% → 50% — расширение при стабильных метриках, шаг за шагом, не реже чем через несколько часов.
- 100% — полная выкатка, старая версия остаётся готовой к откату минимум неделю.
Ключевое: на каждом шаге есть критерий перехода и критерий отката, оба прописаны заранее. Если критерий не сформулирован — шаг не начинается.
Auto-rollback и именной on-call
Auto-rollback — автоматический возврат на предыдущую версию при падении метрик ниже порога. Работает только если версия и конфиг разворачиваются как единое целое и откат — одна операция, а не «руками поправить промпт».
Что триггерит откат (пример набора, цифры — ориентир, калибруются под продукт):
- Task success на canary-трафике упал более чем на 5 п.п. относительно baseline.
- Доля эскалаций выросла более чем на 30%.
- Safety-кейсы: любое срабатывание — немедленный откат без обсуждения.
- Рост стоимости на диалог более чем на 30% за час.
- Всплеск жалоб или ручных перехватов оператором.
Именной on-call — конкретный человек с телефоном, а не чат «команда поддержки». Правила:
- На каждое окно выкатки назначен дежурный, имя в тикете релиза.
- У дежурного есть право откатить без согласования.
- Эскалация: дежурный → владелец агента → руководитель. Тайминги прописаны.
- После каждого отката — разбор и новый кейс в golden-set.
План на 30 дней
| Дни | Что делаем | Результат |
|---|---|---|
| 1–3 | Сбор логов, выбор топ-сценариев, черновик golden-set | 100–150 кейсов |
| 4–7 | Разметка, критерии приёмки, конфиг порогов | Golden-set v1 + thresholds |
| 8–12 | Автоматизация eval-прогона, отчёт по метрикам | Eval-gate в CI |
| 13–16 | Shadow-режим, сравнение версий | Отчёт по расхождениям |
| 17–22 | Canary 5–25%, auto-rollback, назначение on-call | Работающие ворота |
| 23–27 | Расширение до 100%, первая неделя наблюдения | Стабильный прод |
| 28–30 | Разбор, пополнение golden-set, регламент on-call | Документ + процесс |
Сроки реальны при условии, что у агента уже есть логи диалогов и база знаний. Если логи не собираются — плюс 1–2 недели на инструментацию, и это надо честно закладывать.
По деньгам ориентиры студии: пилот одного сценария — 60–350 тыс ₽, базовый агент поддержки — от 50 тыс ₽, агент продаж — от 200 тыс ₽, сложный контур — от 500 тыс ₽, сопровождение — 15–50 тыс ₽/мес. Прототип — 10–14 дней, полный контур — 30–90 дней. Eval-gates и canary — часть контура, а не отдельная надстройка «потом».
Если коротко
- У агента ломается поведение, а не доступность: 5xx и latency проблему не поймают.
- Golden-set — 150–300 кейсов, версионируется в git, пополняется из логов и инцидентов.
- Eval-gate — жёсткие пороги по task success, groundedness, tool-call, safety, стоимости. Провал — стоп.
- Выкатка: offline → shadow → canary 5% → 25% → 50% → 100%, с критериями перехода и отката на каждом шаге.
- Auto-rollback — одна операция, safety-кейсы откатывают без обсуждения.
- Именной on-call с правом откатить без согласования, имя — в тикете релиза.
- 30 дней хватает, если есть логи диалогов; иначе плюс 1–2 недели на инструментацию.
FAQ
Можно ли обойтись без golden-set и просто смотреть на фидбек клиентов? Нет. Фидбек приходит после того, как клиент получил плохой ответ, и покрывает малую долю диалогов. Golden-set ловит регрессию до клиента.
Сколько кейсов минимум? Ориентир — 150. Меньше 50 даёт шум вместо сигнала: одна-две ошибки меняют score на несколько пунктов.
Нужен ли отдельный инструмент для eval? На старте достаточно скрипта прогона по golden-set и отчёта в CI. Инструмент имеет смысл, когда кейсов сотни и над ними работает несколько человек.
Что делать, если порог не проходит только на 1–2 кейсах? Разобрать кейсы вручную. Если это реальные регрессии — блокировать релиз. Если кейс размечен неверно — исправить разметку через ревью, а не «подкрутить порог».
Кто владеет golden-set? Владелец агента (продакт или тимлид направления), не разработчик. Разработчик автоматизирует прогон, но состав и эталоны — ответственность бизнеса.
Читайте также
- Eval AI-агента: тесты, red-team, SLA, регрессии
- AI-пайплайн контента brief→QA→publish: gates и галлюцинации
- Observability ИИ-агентов: eval, логи и red team за 14 дней
Обсудить задачу
Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.