Блог студии Раисыча AI-агенты · автоматизация
Обсудить задачу
ИИ-агенты для продаж 7 мин чтения 18 September 2026

Canary и eval-gates для AI-агента: golden-set и rollback за 30 дней

Canary + eval-gates для AI-агента в проде за 30 дней — это golden-set, жёсткие score thresholds, поэтапный трафик, auto-rollback и именной on-call. Без…

Обсудить задачу Все статьи кластера
Canary и eval-gates для AI-агента: golden-set и rollback за 30 дней

Canary + eval-gates для AI-агента в проде за 30 дней — это golden-set, жёсткие score thresholds, поэтапный трафик, auto-rollback и именной on-call. Без ворот «модель обновили — посмотрим в чате» превращается в инцидент с клиентами. Я не путаю это с общим observability-пакетом «логи + red-team + scorecard на 14 дней» и не свожу к очередям/retry. Здесь ось — как безопасно катить новую версию агента и кто откатывает, когда score падает. У классического API canary смотрит latency/5xx. У агента ломается не инфраструктура, а поведение: ответ формально 200, но не тот. Поэтому ворота строятся вокруг качества ответа, а не вокруг доступности. Ниже — рабочий контур на 30 дней: что собрать в golden-set, какие пороги ставить, как лить трафик, что триггерит откат и кто за это отвечает в 3 часа ночи.

Что именно ломается у агента и почему 5xx не ловит проблему

Классический мониторинг отвечает на вопрос «жив ли сервис». Для агента этого мало: сервис жив, а ответы деградировали. Типовые поломки, которые не видны в latency и кодах ответа:

  • Смена модели или версии промпта меняет тон, формат, длину ответа. Клиент получает другой продукт при том же 200 OK.
  • Дрейф на инструментах: агент перестал вызывать нужный tool, начал вызывать лишний, поменял порядок шагов.
  • Галлюцинации в фактах: цифры, сроки, условия, которых нет в базе знаний.
  • Обрыв контекста: длинные диалоги теряют начало, агент повторяет вопросы.
  • Утечки системного промпта или внутренних инструкций в ответ.
  • Рост стоимости на диалог при том же качестве — тихая деградация, которую видно только в биллинге.

Вывод: ворота должны мерить поведение — score по golden-set, долю отказов инструментов, стоимость на диалог, наличие запрещённых фраз. Всё это — отдельный слой поверх обычного observability, а не замена ему.

Golden-set: что в него кладут и сколько это стоит по времени

Golden-set — фиксированный набор диалогов и задач с эталонными ответами или критериями приёмки. Это не «100 вопросов из головы», а срез реального трафика плюс краевые случаи.

Состав на старте (оценка по практике — 150–300 кейсов достаточно, чтобы ловить регрессии, а не шум):

Категория Доля Что внутри
Массовые сценарии 50–60% Топ-запросы из логов за последние 2–4 недели
Краевые случаи 15–20% Пустой ввод, оффтоп, мультиязык, длинные диалоги
Отказные сценарии 10–15% Запросы, на которые агент обязан отказать или эскалировать
Безопасность 5–10% Попытки вытащить промпт, обойти правила, инъекции
Регрессии прошлых инцидентов 5–10% Каждый прод-инцидент превращается в кейс навсегда

Правила, без которых golden-set бесполезен:

  1. Версионируется в git вместе с промптами и конфигом.
  2. Пополняется из прод-логов — раз в неделю разбор новых диалогов, минимум 5–10 кейсов.
  3. Каждый инцидент → новый кейс в тот же день, иначе повторится.
  4. Эталон не «идеальный текст», а критерии: факт верный, формат соблюдён, нет запрещённых фраз, tool вызван. Точное совпадение строк для генеративного ответа — плохая метрика.

Разметка — самая дорогая часть. Реалистично: 2–4 дня работы одного человека на первый набор, дальше по 2–4 часа в неделю на поддержку.

Eval-gates: пороги, которые останавливают релиз

Eval-gate — автоматическая проверка новой версии агента против golden-set перед выкаткой и во время неё. Гейт бинарный: прошёл — катим, не прошёл — стоп. Никаких «в целом норм».

Метрики, которые имеет смысл держать в гейте:

  • Task success rate — доля кейсов, где цель достигнута. Порог задаётся от текущего продакшн-уровня, а не от абстрактных 95%. Если сейчас 78% — гейт на 76–77%, ниже — блок.
  • Faithfulness / groundedness — доля ответов без утверждений вне базы знаний. Критично для агентов поддержки и продаж.
  • Tool-call accuracy — правильный инструмент, правильные аргументы.
  • Refusal correctness — доля корректных отказов в отказных кейсах.
  • Safety pass rate — 100% на кейсах безопасности, без исключений.
  • Стоимость на диалог — рост более чем на 20–30% относительно baseline требует объяснения.
  • P95 latency — как у обычного API, но вторична.

Пороги фиксируются в конфиге и меняются только через ревью, а не «на глаз в день релиза». Иначе гейт превращается в формальность.

Поэтапный трафик: как катить версию

Схема выкатки для агента отличается от API тем, что сравнивать надо не только метрики инфраструктуры, но и поведение на живом трафике.

  1. Offline eval — новая версия прогоняется по golden-set. Провал — стоп, дальше не идём.
  2. Shadow — новая версия обрабатывает реальный трафик параллельно, ответы не отдаются клиенту, сравниваются с текущей. 1–3 дня.
  3. Canary 5% — реальные клиенты, но малая доля. Auto-rollback по порогам онлайн-метрик.
  4. Canary 25% → 50% — расширение при стабильных метриках, шаг за шагом, не реже чем через несколько часов.
  5. 100% — полная выкатка, старая версия остаётся готовой к откату минимум неделю.

Ключевое: на каждом шаге есть критерий перехода и критерий отката, оба прописаны заранее. Если критерий не сформулирован — шаг не начинается.

Auto-rollback и именной on-call

Auto-rollback — автоматический возврат на предыдущую версию при падении метрик ниже порога. Работает только если версия и конфиг разворачиваются как единое целое и откат — одна операция, а не «руками поправить промпт».

Что триггерит откат (пример набора, цифры — ориентир, калибруются под продукт):

  • Task success на canary-трафике упал более чем на 5 п.п. относительно baseline.
  • Доля эскалаций выросла более чем на 30%.
  • Safety-кейсы: любое срабатывание — немедленный откат без обсуждения.
  • Рост стоимости на диалог более чем на 30% за час.
  • Всплеск жалоб или ручных перехватов оператором.

Именной on-call — конкретный человек с телефоном, а не чат «команда поддержки». Правила:

  • На каждое окно выкатки назначен дежурный, имя в тикете релиза.
  • У дежурного есть право откатить без согласования.
  • Эскалация: дежурный → владелец агента → руководитель. Тайминги прописаны.
  • После каждого отката — разбор и новый кейс в golden-set.

План на 30 дней

Дни Что делаем Результат
1–3 Сбор логов, выбор топ-сценариев, черновик golden-set 100–150 кейсов
4–7 Разметка, критерии приёмки, конфиг порогов Golden-set v1 + thresholds
8–12 Автоматизация eval-прогона, отчёт по метрикам Eval-gate в CI
13–16 Shadow-режим, сравнение версий Отчёт по расхождениям
17–22 Canary 5–25%, auto-rollback, назначение on-call Работающие ворота
23–27 Расширение до 100%, первая неделя наблюдения Стабильный прод
28–30 Разбор, пополнение golden-set, регламент on-call Документ + процесс

Сроки реальны при условии, что у агента уже есть логи диалогов и база знаний. Если логи не собираются — плюс 1–2 недели на инструментацию, и это надо честно закладывать.

По деньгам ориентиры студии: пилот одного сценария — 60–350 тыс ₽, базовый агент поддержки — от 50 тыс ₽, агент продаж — от 200 тыс ₽, сложный контур — от 500 тыс ₽, сопровождение — 15–50 тыс ₽/мес. Прототип — 10–14 дней, полный контур — 30–90 дней. Eval-gates и canary — часть контура, а не отдельная надстройка «потом».

Если коротко

  • У агента ломается поведение, а не доступность: 5xx и latency проблему не поймают.
  • Golden-set — 150–300 кейсов, версионируется в git, пополняется из логов и инцидентов.
  • Eval-gate — жёсткие пороги по task success, groundedness, tool-call, safety, стоимости. Провал — стоп.
  • Выкатка: offline → shadow → canary 5% → 25% → 50% → 100%, с критериями перехода и отката на каждом шаге.
  • Auto-rollback — одна операция, safety-кейсы откатывают без обсуждения.
  • Именной on-call с правом откатить без согласования, имя — в тикете релиза.
  • 30 дней хватает, если есть логи диалогов; иначе плюс 1–2 недели на инструментацию.

FAQ

Можно ли обойтись без golden-set и просто смотреть на фидбек клиентов? Нет. Фидбек приходит после того, как клиент получил плохой ответ, и покрывает малую долю диалогов. Golden-set ловит регрессию до клиента.

Сколько кейсов минимум? Ориентир — 150. Меньше 50 даёт шум вместо сигнала: одна-две ошибки меняют score на несколько пунктов.

Нужен ли отдельный инструмент для eval? На старте достаточно скрипта прогона по golden-set и отчёта в CI. Инструмент имеет смысл, когда кейсов сотни и над ними работает несколько человек.

Что делать, если порог не проходит только на 1–2 кейсах? Разобрать кейсы вручную. Если это реальные регрессии — блокировать релиз. Если кейс размечен неверно — исправить разметку через ревью, а не «подкрутить порог».

Кто владеет golden-set? Владелец агента (продакт или тимлид направления), не разработчик. Разработчик автоматизирует прогон, но состав и эталоны — ответственность бизнеса.

Читайте также

Заявка

Обсудить задачу

Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.

Раисыч

Основатель Студии Раисыча. Проектирую ИИ-контуры для продаж, поддержки и документов — с критериями приёмки и журналом.

Написать в Telegram →
Обсудить задачу