Блог студии Раисыча AI-агенты · автоматизация
Обсудить задачу
ИИ-агенты для продаж 6 мин чтения 6 August 2026

7 ошибок production AI-агентов и handoff человек↔агент

Большинство AI-агентов «ломаются» не на демо, а в production: из-за размытого handoff человек↔агент, отсутствия stop-list, слепых KPI и знаний без владельца

Обсудить задачу Все статьи кластера
7 ошибок production AI-агентов и handoff человек↔агент

Большинство AI-агентов «ломаются» не на демо, а в production: из-за размытого handoff человек↔агент, отсутствия stop-list, слепых KPI и знаний без владельца — не из-за «слабой модели». Ниже — семь ошибок, которые я чаще всего разбираю после go-live, и как их закрывать. Фокус на поддержке, квалификации лидов и внутренних ops-агентах. Цифры — порядок величины из пилотов 2025–2026, не обещание «вам будет так же». Симптом: бот отвечает «обо всём», потом уверенно врёт в edge-кейсе.

Ошибка 1. Handoff «куда-нибудь» вместо handoff «по правилу»

Самая дорогая ошибка. Агент либо не передаёт диалог человеку вообще, либо передаёт всё подряд — оператор тонет в очереди и начинает закрывать тикеты формально. В обоих случаях страдает клиент.

Что должно быть зафиксировано в спецификации handoff:

  • Триггеры передачи. Явный запрос клиента («позовите человека»), повторный вопрос третий раз, отрицательная тональность, тема из stop-list, отсутствие ответа в базе знаний с уверенностью выше порога.
  • Кому передаём. Конкретная очередь или конкретный сотрудник, а не «в общий чат».
  • Что передаём. Транскрипт, резюме диалога, собранные поля (номер заказа, телефон, тип обращения), причина передачи.
  • SLA на приём. Сколько минут оператор обязан взять диалог; что видит клиент в это время.
Плохо Норма
Передача «если бот не уверен» Явный список триггеров с порогами
В общий чат поддержки В очередь с маршрутизацией по теме
Только последняя реплика Транскрипт + резюме + поля
Клиент ждёт молча Сообщение «передаю специалисту, ответ в течение N минут»

Handoff в обратную сторону — от человека к агенту — тоже нужен регламент: после какого действия оператора диалог возвращается боту и возвращается ли вообще.

Ошибка 2. Нет stop-list — и агент лезет в опасные темы

Stop-list — это темы, по которым агент не отвечает никогда, даже если «знает». Типовой набор для российского МСБ:

  • юридические и налоговые консультации от лица компании;
  • медицинские и фармацевтические рекомендации;
  • персональные данные сверх необходимого минимума;
  • скидки и условия, которых нет в прайсе;
  • обещания сроков и гарантий вне регламента;
  • любые темы, где ошибка влечёт деньги или вред.

Реализуется в два слоя: классификатор темы на входе (отсекает запрос до генерации) и фильтр ответа на выходе (ловит утечку). Один слой не работает — модель обходит его в перефразировке.

Ошибка 3. Слепые KPI: считают всё, что легко посчитать

Классика: отчёт «агент обработал 12 000 диалогов, 87% решены без человека». Через месяц выясняется, что половина «решённых» — это клиенты, которые плюнули и ушли.

KPI, которые стоит смотреть:

Метрика Что показывает
Доля диалогов с повторным обращением по той же теме в 7 дней Реально ли решён вопрос
CSAT по диалогам с агентом отдельно от диалогов с человеком Не прячет ли агент проблемы
Точность ответов на выборке (ручная разметка 50–100 диалогов в неделю) Качество знаний
Доля handoff и причины Где агент не тянет
Стоимость диалога с учётом эскалаций Экономика, а не только объём

Метрика «процент автоматизации» без остальных — вредная: она мотивирует агента не передавать человека, даже когда надо.

Ошибка 4. База знаний без владельца

Агент отвечает по документам, а документы никто не обновляет. Через два месяца после go-live цены изменились, а бот цитирует старый прайс. Это не техническая проблема — это проблема процесса.

Минимальный контур владения:

  • у каждого источника знаний есть ответственный сотрудник с именем;
  • регламент обновления: кто и в какой срок правит документ после изменения продукта;
  • дата последней ревизии видна в админке;
  • раз в неделю — выборка диалогов, где агент сослался на источник, и проверка актуальности.

Без владельца база знаний деградирует предсказуемо — за 1–3 месяца, по опыту пилотов.

Ошибка 5. Оценка «на глазок» вместо регулярной разметки

Агент не тестируется один раз перед запуском. Он тестируется постоянно, потому что меняются и знания, и запросы клиентов. Без еженедельной выборки и ручной разметки вы узнаёте о деградации от клиентов, а не от отчёта.

Практика: 50–100 случайных диалогов в неделю, разметка по трём категориям — верно / неполно / неверно. Дальше — разбор «неверно» по причинам: нет знания, устаревшее знание, ошибка маршрутизации, галлюцинация. Это даёт конкретный бэклог правок, а не абстрактное «модель тупит».

Ошибка 6. Агент без границ роли

Агент поддержки начинает квалифицировать лиды, агент продаж — консультировать по гарантии, ops-агент — отвечать клиентам. Расширение роли без пересборки знаний и stop-list — прямой путь к вранью в edge-кейсе.

Правило: одна роль — один набор знаний, один stop-list, один набор KPI. Расширение роли — отдельный пилот, а не «давайте ещё вот эту функцию включим».

Ошибка 7. Запуск без плана на первый месяц после go-live

Go-live — не финиш, а начало. Первые 2–4 недели — самый интенсивный период правок: всплывают edge-кейсы, которых не было в тестах, уточняются триггеры handoff, дописывается stop-list.

Что должно быть готово до запуска:

  • ответственный за агента на стороне заказчика (не только подрядчик);
  • канал сбора обратной связи от операторов — они первыми видят косяки;
  • регламент правки знаний: кто, что, в какой срок;
  • план на первый месяц: еженедельная разметка, разбор, релиз правок;
  • договорённость о сопровождении — по нашим ориентирам это 15–50 тыс ₽/мес в зависимости от объёма.

Сколько это стоит и сколько занимает

Ориентиры студии, без привязки к конкретному проекту:

  • пилот одного сценария — 60–350 тыс ₽;
  • базовый агент поддержки — от 50 тыс ₽;
  • агент продаж — от 200 тыс ₽;
  • сложный контур (несколько ролей, интеграции, маршрутизация) — от 500 тыс ₽;
  • сопровождение — 15–50 тыс ₽/мес.

Сроки: прототип — 10–14 дней, полный контур — 30–90 дней. Это порядок величины, а не гарантия: сложный контур с интеграциями в CRM и телефонию упирается в сроки на стороне заказчика.

Если коротко

  • Handoff — это спецификация с триггерами, очередью, содержимым передачи и SLA, а не «кнопка позвать человека».
  • Stop-list нужен в два слоя: на входе и на выходе.
  • «Процент автоматизации» без CSAT, повторных обращений и ручной разметки — вредная метрика.
  • У каждой базы знаний должен быть владелец с именем и регламентом обновления.
  • 50–100 размеченных диалогов в неделю — минимум для контроля качества.
  • Одна роль агента — один набор знаний и KPI.
  • Первый месяц после go-live — самый важный; без плана правок агент деградирует за 1–3 месяца.

FAQ

С чего начать, если агент уже в production и «врёт»? С ручной разметки 50–100 последних диалогов и выписывания причин ошибок. Дальше — stop-list в два слоя и триггеры handoff. Это закрывает большую часть проблем без переделки модели.

Нужен ли отдельный сотрудник под агента? На старте — да, хотя бы частично занятый. Без владельца знаний и KPI агент деградирует предсказуемо. Позже нагрузка падает до нескольких часов в неделю.

Можно ли обойтись без stop-list, если модель «хорошая»? Нет. Stop-list — это не про качество модели, а про границы ответственности компании. Хорошая модель увереннее врёт в edge-кейсе.

Как часто пересматривать KPI? Первый месяц — еженедельно, дальше — раз в квартал. Если меняется продукт или прайс — пересмотр вместе с обновлением знаний.

Что делать, если операторы саботируют агента? Обычно причина — агент передаёт им мусорные диалоги без контекста. Почините содержимое handoff и маршрутизацию, и отношение меняется. Саботаж — сигнал о качестве передачи, а не о людях.

Читайте также

Заявка

Обсудить задачу

Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.

Раисыч

Основатель Студии Раисыча. Проектирую ИИ-контуры для продаж, поддержки и документов — с критериями приёмки и журналом.

Написать в Telegram →
Обсудить задачу