Блог студии Раисыча AI-агенты · автоматизация
Обсудить задачу
ИИ-агенты для продаж 6 мин чтения 11 August 2026

Протокол handoff AI-агент↔человек: QA-скоринг в production

Стабильный production AI-агента держится не на «умной модели», а на жёстком протоколе handoff человек↔агент и ежедневном QA-скоринге: когда передавать, с…

Обсудить задачу Все статьи кластера
Протокол handoff AI-агент↔человек: QA-скоринг в production

Стабильный production AI-агента держится не на «умной модели», а на жёстком протоколе handoff человек↔агент и ежедневном QA-скоринге: когда передавать, с каким контекстом, кто правит знания и какой % ответов проходит выборочную проверку. Я выстраиваю handoff так же, как смену операторов: очередь, приоритет, обязательные поля, stop-list и метрики «после передачи». Ниже — каркас, который работает для first-line поддержки, квалификации лидов и внутренних ops-агентов. Цифры — порядок величины из проектов 2025–2026, не оферта.

Протокол handoff: что фиксируем до запуска

Handoff — это не «эскалация, если бот не справился». Это регламент с триггерами, полями и SLA. Минимальный набор, который нужно утвердить письменно до пилота:

  • Триггеры передачи. Явный запрос человека; низкая уверенность модели (порог по score retrieval/классификатора); тема из stop-list; второй повтор вопроса; негативная тональность; юридически значимые формулировки (возврат денег, претензия, персональные данные).
  • Приоритет очереди. P1 — деньги и конфликт, P2 — блокирующая ошибка в продукте, P3 — общие вопросы. Приоритет ставит агент по правилам, человек может повысить.
  • Обязательные поля передачи. ID диалога, история сообщений, что агент уже сделал (проверил заказ, нашёл статью базы), гипотеза причины, какой триггер сработал, что уже пообещали клиенту. Без этих полей оператор не принимает тикет — возвращает агенту на доукомплектование.
  • Stop-list. Темы, где агент молчит и сразу передаёт: персональные данные, медицинские и юридические советы, всё, что связано с блокировкой аккаунта и деньгами сверх лимита.
  • Обратный handoff. Правила, когда оператор возвращает диалог агенту (например, после ответа на сложный вопрос — дожать типовые уточнения). Без обратного канала агент деградирует в «передавальщика».

Формат протокола — одна страница в вики плюс те же правила, зашитые в промпт и в маршрутизатор. Если правила живут только в вики, они расходятся с поведением агента за две недели.

QA-скоринг: что и как часто проверяем

QA-скоринг — выборочная проверка ответов агента по чек-листу с баллами и разбором. Без него вы управляете агентом по ощущениям.

Рабочая схема для first-line:

Параметр Порядок величины Комментарий
Доля ответов под выборочную проверку 5–15% 100% — только в первые 1–2 недели после релиза
Отдельная выборка по handoff 20–30% от всех передач Ошибки handoff дороже ошибок ответа
Частота ежедневно, 15–30 минут Пятничный разбор раз в неделю не работает
Рубрика 5–8 критериев, шкала 0/1/2 Больше критериев — скоринг не выдерживается

Критерии, которые дают сигнал:

  1. Фактическая точность — ответ соответствует базе знаний и продукту.
  2. Полнота — закрыт ли вопрос, не отправлен ли клиент «погуглить».
  3. Соблюдение stop-list — не дал ли агент запрещённый ответ.
  4. Корректность handoff — сработал ли триггер, полный ли контекст.
  5. Тон и формат — без канцелярита, без лишних извинений, по делу.
  6. Отсутствие выдумки — не сослался ли агент на несуществующую статью, срок или условие.

Скоринг считаем не «средним баллом», а долей ответов, прошедших порог. Средний балл маскирует хвост: 4,2 из 5 при 8% провалов — это не «хорошо», это 8% клиентов с испорченным опытом.

Метрики «после передачи»: где на самом деле болит

Большинство команд меряет только качество ответов агента. Но узкое место обычно в стыке. Что считать:

  • Доля диалогов с передачей — если растёт, агент либо деградировал, либо база знаний отстала.
  • Точность передачи — доля handoff, где триггер был оправдан. Передача «на всякий случай» съедает экономику.
  • Время до принятия оператором — от передачи до первого ответа человека.
  • Повторные обращения по той же теме в течение 7 дней — главный индикатор, что проблема не решена, а переложена.
  • CSAT по диалогам с передачей отдельно от диалогов без передачи. Смешанная метрика ничего не говорит.
  • Причины передачи, сгруппированные по темам — это очередь на доработку базы знаний и промпта.

Оценка: в типовом контуре поддержки на стык приходится большая часть потерь качества, чем на сами ответы агента. Точную долю называть не буду — зависит от продукта и объёма базы.

Кто правит знания и как часто

Знания — не проект, а процесс. Нужен владелец и регламент, иначе база живёт отдельно от продукта.

  • Владелец базы знаний — конкретный человек, а не «команда». Он принимает или отклоняет правки.
  • Источник правок — разборы QA и причины передач. Не «давайте допишем FAQ», а «за неделю 12 передач по одной теме — правим статью».
  • SLA на правку — критичное (деньги, доступ, безопасность) в течение 1 рабочего дня, остальное — до недели.
  • Версионирование — каждая правка с датой и автором, чтобы при деградации откатиться.
  • Регресс-набор — 30–50 вопросов, на которых прогоняем агента после каждой правки базы или промпта. Без него правка одной темы ломает другую.

Правило: если правка знаний не проходит регресс, она не выкатывается. Это скучно и это работает.

Внедрение: сроки и порядок шагов

Порядок, который не даёт развалить процесс на середине:

  1. Прототип одного сценария — 10–14 дней. Один сценарий, один канал, протокол handoff на бумаге, ручной скоринг первых 100 диалогов. Пилот одного сценария — 60–350 тыс ₽.
  2. Базовый агент поддержки — от 50 тыс ₽. Сюда входит каркас handoff и стартовый чек-лист QA.
  3. Агент продаж (квалификация лидов) — от 200 тыс ₽. Здесь QA-скоринг смещается на корректность квалификации и передачу в CRM.
  4. Сложный контур — от 500 тыс ₽. Несколько сценариев, обратный handoff, автоматизированный скоринг.
  5. Полный контур — 30–90 дней от прототипа до production с ежедневным QA.
  6. Сопровождение — 15–50 тыс ₽/мес. Разборы, правки базы, регресс, отчёт по метрикам стыка.

Ежедневный QA-скоринг и владелец базы знаний — обязательные условия. Без них агент формально работает, а очередь передач растёт.

Если коротко

  • Handoff — регламент с триггерами, приоритетами, обязательными полями и stop-list, а не кнопка «позвать человека».
  • QA-скоринг: 5–15% ответов ежедневно, отдельная выборка по передачам, 5–8 критериев, считаем долю прошедших порог, а не средний балл.
  • Метрики стыка важнее метрик ответа: доля передач, точность передачи, время до оператора, повторные обращения за 7 дней.
  • У базы знаний один владелец, SLA на правку и регресс-набор из 30–50 вопросов.
  • Прототип — 10–14 дней, полный контур — 30–90 дней; пилот сценария 60–350 тыс ₽, сопровождение 15–50 тыс ₽/мес.

FAQ

Сколько ответов проверять, если диалогов мало? При объёме до 100 диалогов в день проверяйте 100% первые две недели, дальше — не меньше 20–30 в день. Абсолютное число важнее процента: 10 проверок из 30 — это 33%, но статистики не даёт.

Что делать, если операторы не принимают тикеты без полей? Это правильное поведение. Возврат тикета агенту — сигнал в QA. Если возвратов больше 10–15%, протокол передачи нужно переписывать, а не уговаривать операторов.

Можно ли автоматизировать скоринг? Частично: формат, наличие полей, срабатывание stop-list проверяются правилами. Точность и полноту на старте оценивает человек. Автооценка «согласованности» полезна как фильтр, но не заменяет разбор.

Как часто пересматривать stop-list? Раз в месяц по итогам разборов и при каждом инциденте. Любой случай, где агент дал запрещённый ответ, — повод не только править промпт, но и добавить тему в stop-list.

Нужен ли обратный handoff, если операторов и так хватает? Да. Без возврата диалога агенту операторы тратят время на типовые уточнения после сложного вопроса. Обратный handoff — это экономика смены, а не роскошь.

Читайте также

Заявка

Обсудить задачу

Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.

Раисыч

Основатель Студии Раисыча. Проектирую ИИ-контуры для продаж, поддержки и документов — с критериями приёмки и журналом.

Написать в Telegram →
Обсудить задачу