Себестоимость AI-диалога: budget cap, routing моделей и cost/ticket за 30 дней
Себестоимость AI-диалога я контролирую четырьмя рычагами: budget cap на один диалог, routing cheap→strong только по правилам, метрика cost per closed ticket
Себестоимость AI-диалога я контролирую четырьмя рычагами: budget cap на один диалог, routing cheap→strong только по правилам, метрика cost per closed ticket и дашборд за 30 дней. Без cap и routing «успешный» агент просто сжигает маржу на длинных тредах. Я не оптимизирую «токены ради токенов». Я считаю деньги на закрытый тикет/диалог и режу хвосты, где модель думает впустую. Ниже — production-контур для МСП, который собираю за 2–4 недели. Cap — это не «лимит в .env на месяц», а потолок на conversation_id с понятным поведением при превышении.
Почему месячный лимит в .env не работает
Лимит на аккаунт отвечает на вопрос «сколько мы потратили», но не на вопрос «на чём именно». Один аномально длинный тред с циклом уточнений съедает бюджет сотни нормальных диалогов, и вы узнаёте об этом в конце месяца из счёта провайдера. К этому моменту маржа по каналу уже отрицательная.
Потолок должен стоять на уровне conversation_id. Логика простая: у каждого диалога есть счётчик стоимости, который растёт с каждым вызовом модели. При достижении порога срабатывает заранее описанное поведение, а не тихое продолжение генерации.
Что должно быть в cap по умолчанию:
- Порог в деньгах, не в токенах. Токены — это внутренняя единица провайдера, у разных моделей она стоит по-разному. Считайте в рублях: цена за 1K входных и выходных токенов умножается на фактические объёмы вызова.
- Мягкий и жёсткий порог. На мягком (например, 70% потолка) агент меняет поведение: короче отвечает, перестаёт предлагать дополнительные шаги, эскалирует быстрее. На жёстком — передаёт диалог человеку или закрывает сценарий.
- Поведение при превышении описано в сценарии. Не «ошибка 500», а понятная реплика клиенту и передача в очередь оператору. Иначе вы платите за сгоревший бюджет и получаете недовольного клиента.
- Отдельные потолки по типам сценариев. Консультация по каталогу и оформление заявки стоят по-разному. Один общий cap усредняет и прячет проблему.
Оценка рынка: у большинства МСП, которые запускают агента без cap, 5–10% диалогов дают 40–60% расходов. Это не статистика конкретной компании, а типичная картина «тяжёлого хвоста» — проверяется на своём дашборде за первую же неделю.
Routing cheap→strong: правила, а не интуиция
Смысл routing — не гонять каждую реплику через дорогую модель. Дешёвая модель закрывает типовые вопросы: статус заказа, часы работы, условия возврата, запись на консультацию. Дорогая включается только там, где дешёвая объективно не справляется.
Правила переключения, которые работают на практике:
| Триггер | Действие |
|---|---|
| Вопрос вне базы знаний (низкая уверенность поиска) | Эскалация на strong-модель |
| Клиент выражает претензию или спорит | Strong-модель или сразу человек |
| Диалог длиннее N шагов без продвижения к цели | Strong-модель один раз, дальше — оператор |
| Запрос на расчёт, подбор, сравнение | Strong-модель |
| Приветствие, уточнение реквизитов, статус | Cheap-модель |
| Стоимость диалога превысила мягкий порог | Только cheap-модель или оператор |
Два правила, которые экономят больше всего:
- Не переключаться туда-обратно. Если диалог ушёл на strong-модель, обратно на cheap его не возвращают — контекст уже сложный, дешёвая модель начнёт путаться и генерировать лишние уточнения.
- Классификатор на входе, а не на каждой реплике. Тип запроса определяется один раз в начале диалога и пересматривается только по явным триггерам. Классификация каждого сообщения — это отдельные вызовы, которые сами становятся статьёй расходов.
Routing без логов бесполезен. Каждое переключение пишется в лог: причина, модель до, модель после, стоимость шага. Через неделю вы видите, какие правила срабатывают часто, а какие не срабатывают никогда.
Метрика cost per closed ticket
Главная цифра — не стоимость диалога, а стоимость закрытого тикета. Диалог может стоить дёшево и ничем не закончиться: клиент ушёл, вопрос не решён, оператору всё равно писать. Такой диалог — чистый убыток.
Считается так: суммарные расходы на модель за период делятся на число тикетов, закрытых агентом без передачи человеку. В знаменателе — только закрытые. Всё, что ушло на эскалацию, идёт в отдельную колонку «стоимость эскалаций» и анализируется отдельно.
Что ещё фиксировать рядом:
- Доля автозакрытия. Процент тикетов, закрытых без человека. Растёт — хорошо, но только если не за счёт качества.
- Стоимость эскалированного тикета. Диалог + время оператора. Часто выясняется, что дешевле доработать сценарий, чем эскалировать.
- Стоимость повторного обращения. Клиент вернулся с тем же вопросом — значит, первый ответ был неполным. Это скрытый расход.
- Разброс по сценариям. Средняя по каналу прячет проблемный сценарий, который тянет всё вниз.
Целевой ориентир задаётся от экономики: сколько вы готовы платить за закрытый тикет, чтобы канал оставался прибыльным. Дальше метрика либо укладывается в ориентир, либо сценарий переделывается. Сравнивать cost per ticket с зарплатой оператора на том же объёме — самый честный способ понять, окупается ли агент вообще.
Дашборд за 30 дней: что на нём должно быть
Дашборд нужен не для красоты, а чтобы ловить отклонения за дни, а не за квартал. Минимальный набор:
- Расход по дням и накопительно за 30 дней, с разбивкой по моделям.
- Cost per closed ticket по дням — линия и целевой ориентир.
- Доля автозакрытия и доля эскалаций.
- Топ-10 самых дорогих диалогов с причинами (длина, число переключений, повторные уточнения).
- Срабатывания cap: сколько раз, на каком пороге, чем закончилось.
- Распределение стоимости диалога: медиана и 95-й перцентиль. Если 95-й перцентиль в разы выше медианы — хвост не отрезан.
30 дней — горизонт, на котором видно сезонность внутри месяца и эффект от правок сценария. Первые две недели — сбор базовой линии, вторые две — проверка гипотез: изменили routing, посмотрели, как сдвинулись cost per ticket и доля автозакрытия.
Как это собрать за 2–4 недели
Порядок работ, который не требует переписывать всё сразу:
- Неделя 1. Замер без оптимизации. Логируем каждый вызов: модель, токены, стоимость, шаг диалога, исход. Получаем базовую линию cost per ticket и видим хвост.
- Неделя 1–2. Cap на conversation_id. Пороги, поведение при превышении, эскалация. Проверяем на реальном трафике, что аномальные треды обрываются корректно.
- Неделя 2–3. Routing по правилам. Классификатор на входе, таблица триггеров, логи переключений. Смотрим, какие правила реально работают.
- Неделя 3–4. Дашборд и разбор. Метрика cost per closed ticket, топ дорогих диалогов, первые правки сценариев по результатам.
Сроки студии: прототип одного сценария с логами и cap — 10–14 дней, полный контур с routing, дашбордом и разбором — 30–90 дней. Стоимость: пилот одного сценария 60–350 тыс ₽, базовый агент поддержки от 50 тыс ₽, агент продаж от 200 тыс ₽, сложный контур от 500 тыс ₽, сопровождение 15–50 тыс ₽/мес. Разброс в пилоте зависит от числа интеграций и сложности базы знаний, а не от «красоты» ответов.
Если коротко
- Cap ставится на conversation_id в деньгах, с мягким и жёстким порогом и описанным поведением при превышении.
- Routing cheap→strong работает по таблице триггеров, классификация — на входе, обратных переключений нет.
- Главная метрика — cost per closed ticket, а не стоимость диалога и не токены.
- Дашборд за 30 дней показывает медиану и 95-й перцентиль: хвост виден по разрыву между ними.
- Порядок сборки: замер → cap → routing → дашборд. Каждый шаг проверяется на реальном трафике.
FAQ
Нужен ли cap, если трафик маленький? Да. На малом трафике один аномальный тред заметнее в счёте, а чинить его постфактум дороже, чем поставить порог сразу.
Что делать, если клиент упёрся и диалог постоянно уходит на strong-модель? Это сигнал по сценарию, а не по модели. Смотрите топ дорогих диалогов: скорее всего, в базе знаний нет ответа или сценарий зацикливается на уточнениях. Правьте сценарий, а не тариф.
Можно ли обойтись одной дешёвой моделью? Можно, если доля сложных запросов мала и автозакрытие не падает. Проверяется за неделю: сравните cost per closed ticket и долю эскалаций на одной модели и на routing.
Как часто пересматривать пороги cap? Раз в месяц по дашборду. После крупных правок сценария — сразу, потому что меняется длина типового диалога.
Что считать закрытым тикетом? Тикет, по которому клиент получил ответ и не вернулся с тем же вопросом в течение заданного окна (например, 7 дней), и он не передавался оператору. Критерий фиксируется до запуска, иначе метрика начнёт «улучшаться» сама собой.
Читайте также
- Cost per resolved: unit-экономика AI-автоматизации за 90 дней
- Cost per resolved unit: экономика AI-агента за 90 дней — расчёт, метрики и сроки
- Тарифы AI-агентов продаж: сравнение моделей оплаты и цен в 2026 году
Обсудить задачу
Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.