7 ошибок production AI-агентов и handoff человек↔агент
Большинство AI-агентов «ломаются» не на демо, а в production: из-за размытого handoff человек↔агент, отсутствия stop-list, слепых KPI и знаний без владельца
Большинство AI-агентов «ломаются» не на демо, а в production: из-за размытого handoff человек↔агент, отсутствия stop-list, слепых KPI и знаний без владельца — не из-за «слабой модели». Ниже — семь ошибок, которые я чаще всего разбираю после go-live, и как их закрывать. Фокус на поддержке, квалификации лидов и внутренних ops-агентах. Цифры — порядок величины из пилотов 2025–2026, не обещание «вам будет так же». Симптом: бот отвечает «обо всём», потом уверенно врёт в edge-кейсе.
Ошибка 1. Handoff «куда-нибудь» вместо handoff «по правилу»
Самая дорогая ошибка. Агент либо не передаёт диалог человеку вообще, либо передаёт всё подряд — оператор тонет в очереди и начинает закрывать тикеты формально. В обоих случаях страдает клиент.
Что должно быть зафиксировано в спецификации handoff:
- Триггеры передачи. Явный запрос клиента («позовите человека»), повторный вопрос третий раз, отрицательная тональность, тема из stop-list, отсутствие ответа в базе знаний с уверенностью выше порога.
- Кому передаём. Конкретная очередь или конкретный сотрудник, а не «в общий чат».
- Что передаём. Транскрипт, резюме диалога, собранные поля (номер заказа, телефон, тип обращения), причина передачи.
- SLA на приём. Сколько минут оператор обязан взять диалог; что видит клиент в это время.
| Плохо | Норма |
|---|---|
| Передача «если бот не уверен» | Явный список триггеров с порогами |
| В общий чат поддержки | В очередь с маршрутизацией по теме |
| Только последняя реплика | Транскрипт + резюме + поля |
| Клиент ждёт молча | Сообщение «передаю специалисту, ответ в течение N минут» |
Handoff в обратную сторону — от человека к агенту — тоже нужен регламент: после какого действия оператора диалог возвращается боту и возвращается ли вообще.
Ошибка 2. Нет stop-list — и агент лезет в опасные темы
Stop-list — это темы, по которым агент не отвечает никогда, даже если «знает». Типовой набор для российского МСБ:
- юридические и налоговые консультации от лица компании;
- медицинские и фармацевтические рекомендации;
- персональные данные сверх необходимого минимума;
- скидки и условия, которых нет в прайсе;
- обещания сроков и гарантий вне регламента;
- любые темы, где ошибка влечёт деньги или вред.
Реализуется в два слоя: классификатор темы на входе (отсекает запрос до генерации) и фильтр ответа на выходе (ловит утечку). Один слой не работает — модель обходит его в перефразировке.
Ошибка 3. Слепые KPI: считают всё, что легко посчитать
Классика: отчёт «агент обработал 12 000 диалогов, 87% решены без человека». Через месяц выясняется, что половина «решённых» — это клиенты, которые плюнули и ушли.
KPI, которые стоит смотреть:
| Метрика | Что показывает |
|---|---|
| Доля диалогов с повторным обращением по той же теме в 7 дней | Реально ли решён вопрос |
| CSAT по диалогам с агентом отдельно от диалогов с человеком | Не прячет ли агент проблемы |
| Точность ответов на выборке (ручная разметка 50–100 диалогов в неделю) | Качество знаний |
| Доля handoff и причины | Где агент не тянет |
| Стоимость диалога с учётом эскалаций | Экономика, а не только объём |
Метрика «процент автоматизации» без остальных — вредная: она мотивирует агента не передавать человека, даже когда надо.
Ошибка 4. База знаний без владельца
Агент отвечает по документам, а документы никто не обновляет. Через два месяца после go-live цены изменились, а бот цитирует старый прайс. Это не техническая проблема — это проблема процесса.
Минимальный контур владения:
- у каждого источника знаний есть ответственный сотрудник с именем;
- регламент обновления: кто и в какой срок правит документ после изменения продукта;
- дата последней ревизии видна в админке;
- раз в неделю — выборка диалогов, где агент сослался на источник, и проверка актуальности.
Без владельца база знаний деградирует предсказуемо — за 1–3 месяца, по опыту пилотов.
Ошибка 5. Оценка «на глазок» вместо регулярной разметки
Агент не тестируется один раз перед запуском. Он тестируется постоянно, потому что меняются и знания, и запросы клиентов. Без еженедельной выборки и ручной разметки вы узнаёте о деградации от клиентов, а не от отчёта.
Практика: 50–100 случайных диалогов в неделю, разметка по трём категориям — верно / неполно / неверно. Дальше — разбор «неверно» по причинам: нет знания, устаревшее знание, ошибка маршрутизации, галлюцинация. Это даёт конкретный бэклог правок, а не абстрактное «модель тупит».
Ошибка 6. Агент без границ роли
Агент поддержки начинает квалифицировать лиды, агент продаж — консультировать по гарантии, ops-агент — отвечать клиентам. Расширение роли без пересборки знаний и stop-list — прямой путь к вранью в edge-кейсе.
Правило: одна роль — один набор знаний, один stop-list, один набор KPI. Расширение роли — отдельный пилот, а не «давайте ещё вот эту функцию включим».
Ошибка 7. Запуск без плана на первый месяц после go-live
Go-live — не финиш, а начало. Первые 2–4 недели — самый интенсивный период правок: всплывают edge-кейсы, которых не было в тестах, уточняются триггеры handoff, дописывается stop-list.
Что должно быть готово до запуска:
- ответственный за агента на стороне заказчика (не только подрядчик);
- канал сбора обратной связи от операторов — они первыми видят косяки;
- регламент правки знаний: кто, что, в какой срок;
- план на первый месяц: еженедельная разметка, разбор, релиз правок;
- договорённость о сопровождении — по нашим ориентирам это 15–50 тыс ₽/мес в зависимости от объёма.
Сколько это стоит и сколько занимает
Ориентиры студии, без привязки к конкретному проекту:
- пилот одного сценария — 60–350 тыс ₽;
- базовый агент поддержки — от 50 тыс ₽;
- агент продаж — от 200 тыс ₽;
- сложный контур (несколько ролей, интеграции, маршрутизация) — от 500 тыс ₽;
- сопровождение — 15–50 тыс ₽/мес.
Сроки: прототип — 10–14 дней, полный контур — 30–90 дней. Это порядок величины, а не гарантия: сложный контур с интеграциями в CRM и телефонию упирается в сроки на стороне заказчика.
Если коротко
- Handoff — это спецификация с триггерами, очередью, содержимым передачи и SLA, а не «кнопка позвать человека».
- Stop-list нужен в два слоя: на входе и на выходе.
- «Процент автоматизации» без CSAT, повторных обращений и ручной разметки — вредная метрика.
- У каждой базы знаний должен быть владелец с именем и регламентом обновления.
- 50–100 размеченных диалогов в неделю — минимум для контроля качества.
- Одна роль агента — один набор знаний и KPI.
- Первый месяц после go-live — самый важный; без плана правок агент деградирует за 1–3 месяца.
FAQ
С чего начать, если агент уже в production и «врёт»? С ручной разметки 50–100 последних диалогов и выписывания причин ошибок. Дальше — stop-list в два слоя и триггеры handoff. Это закрывает большую часть проблем без переделки модели.
Нужен ли отдельный сотрудник под агента? На старте — да, хотя бы частично занятый. Без владельца знаний и KPI агент деградирует предсказуемо. Позже нагрузка падает до нескольких часов в неделю.
Можно ли обойтись без stop-list, если модель «хорошая»? Нет. Stop-list — это не про качество модели, а про границы ответственности компании. Хорошая модель увереннее врёт в edge-кейсе.
Как часто пересматривать KPI? Первый месяц — еженедельно, дальше — раз в квартал. Если меняется продукт или прайс — пересмотр вместе с обновлением знаний.
Что делать, если операторы саботируют агента? Обычно причина — агент передаёт им мусорные диалоги без контекста. Почините содержимое handoff и маршрутизацию, и отношение меняется. Саботаж — сигнал о качестве передачи, а не о людях.
Читайте также
- Протокол handoff AI-агент↔человек: QA-скоринг в production
- 7 ошибок при внедрении AI-агентов в 2026: почему handoff ломается и как это исправить
- Протокол handoff AI-агента: QA-скоринг в production — этапы, цифры и сроки
Обсудить задачу
Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.