Блог студии Раисыча AI-агенты · автоматизация
Обсудить задачу
ИИ-агенты для продаж 6 мин чтения 1 January 2026

Продакшн AI-контура: очереди, retry, идемпотентность, HITL — чек-лист на 2026

В продакшн-контуре AI-агента отказоустойчивость важнее качества модели. Чтобы система не теряла заявки и не дублировала действия, нужны четыре элемента…

Обсудить задачу Все статьи кластера
Продакшн AI-контура: очереди, retry, идемпотентность, HITL — чек-лист на 2026

В продакшн-контуре AI-агента отказоустойчивость важнее качества модели. Чтобы система не теряла заявки и не дублировала действия, нужны четыре элемента: очередь с гарантией доставки, retry с идемпотентностью, ограничение повторов и HITL для неоднозначных случаев. Ниже — чек-лист из 20 пунктов, который можно использовать при приёмке контура или аудите текущего.

Почему без очереди и retry контур ломается

Любой вызов LLM или внешнего API может завершиться ошибкой: таймаут, 429 от провайдера, сетевой сбой, невалидный JSON в ответе. Если обрабатывать запрос синхронно в момент прихода, при сбое заявка теряется или клиент получает ошибку. Очередь решает три задачи:

  • Развязывает приём и обработку. Вебхук от CRM или формы кладёт сообщение в очередь и сразу отвечает 200. Обработчик забирает его, когда есть мощность.
  • Даёт точку повтора. Сообщение не удаляется, пока не подтверждена успешная обработка.
  • Позволяет масштабировать. Несколько воркеров разбирают очередь параллельно, пиковая нагрузка не кладёт контур.

Для большинства проектов малого и среднего бизнеса достаточно Redis Streams, RabbitMQ или облачной очереди (Yandex Message Queue, AWS SQS). Выбор зависит от того, где уже живёт инфраструктура.

Очередь: что проверить

  1. Гарантия доставки. At-least-once — минимальное требование. Exactly-once на уровне очереди не бывает, поэтому идемпотентность обязательна (см. ниже).
  2. DLQ (dead letter queue). Сообщения, которые не обработались после N попыток, уходят в отдельную очередь, а не теряются. По DLQ настраивается алерт.
  3. Видимость сообщения (visibility timeout). Время, на которое сообщение скрывается от других воркеров, должно быть больше максимального времени обработки. Иначе два воркера возьмут одно сообщение.
  4. Приоритеты. Заявки от клиентов и фоновые задачи не должны конкурировать в одной очереди. Минимум две очереди: интерактивная и фоновая.
  5. Мониторинг глубины. Алерт, если очередь растёт быстрее, чем разбирается, — ранний сигнал деградации.

Retry: стратегия и лимиты

Retry без ограничений превращает сбой провайдера в шторм запросов. Рабочая схема:

  • Экспоненциальная задержка с джиттером. 1 с, 2 с, 4 с, 8 с плюс случайные 0–500 мс, чтобы воркеры не били синхронно.
  • Лимит попыток. 3–5 для интерактивных запросов, до 10 для фоновых. Дальше — DLQ и уведомление.
  • Разделение ошибок. 429 и 5xx — повторяем. 400, 401, 403 — не повторяем, сразу в DLQ или HITL: повтор не исправит невалидный запрос или отозванный ключ.
  • Таймауты на каждом уровне. Отдельно на HTTP-вызов, на вызов LLM, на обработку сообщения целиком. Без таймаута воркер зависает и держит сообщение до visibility timeout.
  • Circuit breaker. Если провайдер отдаёт ошибки подряд, контур на время перестаёт к нему обращаться и переключается на резервную модель или ставит задачи в очередь.

Идемпотентность: как не сделать действие дважды

At-least-once означает, что сообщение может прийти дважды. Если обработчик создаёт сделку в CRM или отправляет письмо, дубль — это уже бизнес-ошибка. Решение — ключ идемпотентности.

Схема:

  1. На входе генерируется idempotency_key — хеш от ID заявки, канала и типа действия. Для вебхуков CRM это обычно ID события.
  2. Перед выполнением обработчик проверяет ключ в хранилище (Redis, таблица в БД). Если ключ есть и статус done — возвращается сохранённый результат, действие не повторяется.
  3. Если ключа нет — ставится блокировка in_progress с TTL, выполняется действие, результат сохраняется, статус меняется на done.
  4. TTL блокировки больше максимального времени обработки, иначе параллельный воркер решит, что задача брошена, и запустит её снова.

Что проверить:

  • Ключ строится из стабильных полей, а не из timestamp или случайного UUID.
  • Внешние API поддерживают идемпотентность. Если нет — идемпотентность обеспечивается на своей стороне: сначала запись в свою БД, потом вызов.
  • Побочные действия (письма, SMS, платежи) идут через идемпотентный слой, а не напрямую из обработчика.

HITL: где человек обязателен

Human-in-the-loop — не «костыль», а штатный элемент контура. Правило: если модель не уверена или действие необратимо, решение принимает человек.

Триггеры для HITL:

  • Низкая уверенность модели или противоречивые данные в заявке.
  • Необратимые действия: возврат денег, изменение договора, удаление записи.
  • Сумма сделки выше порога, заданного бизнесом.
  • Клиент явно просит человека или жалуется.
  • Ошибка валидации ответа LLM после retry.

Что должно быть в интерфейсе оператора:

  • Исходное сообщение, контекст из CRM, черновик ответа модели.
  • Кнопки «подтвердить», «исправить и отправить», «отклонить» с причиной.
  • Лог: кто, когда, что изменил. Это нужно и для разбора инцидентов, и для дообучения.

SLA на разбор. Если очередь HITL растёт, контур фактически не работает. Нужен алерт по количеству задач старше заданного времени и понятный ответственный.

Чек-лист приёмки контура

Блок Пункт Готово
Очередь At-least-once, DLQ, алерт на глубину ☐
Очередь Visibility timeout > времени обработки ☐
Очередь Разделение интерактивных и фоновых задач ☐
Retry Экспоненциальная задержка с джиттером ☐
Retry Лимит попыток и разбор ошибок по типам ☐
Retry Таймауты на HTTP, LLM и обработку ☐
Retry Circuit breaker и резервная модель ☐
Идемпотентность Ключ из стабильных полей ☐
Идемпотентность Хранилище ключей с TTL и статусами ☐
Идемпотентность Побочные действия через идемпотентный слой ☐
HITL Триггеры и пороги зафиксированы ☐
HITL Интерфейс оператора с логом решений ☐
HITL SLA и алерт на просроченные задачи ☐
Наблюдаемость Логи с correlation_id по всей цепочке ☐
Наблюдаемость Метрики: latency, доля ошибок, размер DLQ ☐
Наблюдаемость Трассировка вызовов LLM и внешних API ☐
Безопасность Секреты вне кода, ротация ключей ☐
Безопасность Ограничение прав агента на действия ☐
Тесты Прогон сценариев сбоев и дублей ☐
Документация Runbook на инциденты и разбор DLQ ☐

Сроки и бюджет

Ориентиры студии: пилот одного сценария — 60–350 тыс ₽, базовый агент поддержки — от 50 тыс ₽, агент продаж — от 200 тыс ₽, сложный контур с очередями, HITL и интеграциями — от 500 тыс ₽. Сопровождение — 15–50 тыс ₽/мес. Прототип — 10–14 дней, полный контур — 30–90 дней. Отказоустойчивость закладывается на этапе проектирования: доработка готового контура обходится дороже, чем сразу сделать очередь и идемпотентность.

Если коротко

  • Очередь с at-least-once и DLQ — база, без неё заявки теряются при сбоях.
  • Retry — только с лимитом, задержкой и разбором ошибок по типам.
  • Идемпотентность обязательна: очередь даёт дубли, ключ защищает от повторных действий.
  • HITL — для необратимых действий, низкой уверенности и сумм выше порога.
  • Наблюдаемость и runbook — часть контура, а не «после запуска».

FAQ

Нужна ли очередь, если агент обрабатывает 10 заявок в день? Да. Очередь нужна не для нагрузки, а для надёжности: она хранит сообщение, пока обработка не подтверждена, и даёт точку повтора при сбое провайдера.

Чем отличается retry от идемпотентности? Retry повторяет операцию после ошибки. Идемпотентность гарантирует, что повтор не создаст дубль. Они работают в паре: без идемпотентности retry опасен.

Можно ли обойтись без HITL? Можно, если агент выполняет только обратимые действия и не принимает решений о деньгах и договорах. Как только появляется необратимое действие, HITL нужен.

Сколько попыток retry ставить? 3–5 для интерактивных запросов, до 10 для фоновых. Дальше — DLQ и уведомление. Бесконечный retry превращает сбой провайдера в шторм запросов.

Как понять, что контур готов к продакшну? Прогнать сценарии сбоев: таймаут LLM, 429 от провайдера, дубль вебхука, невалидный JSON, отказ внешнего API. Если каждый сценарий обработан по чек-листу — контур готов.

Что делать с сообщениями в DLQ? Разбирать вручную по runbook: определить причину, исправить данные или код, вернуть сообщение в работу. DLQ без разбора — это скрытая потеря заявок.

Читайте также

Заявка

Обсудить задачу

Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.

Раисыч

Основатель Студии Раисыча. Проектирую ИИ-контуры для продаж, поддержки и документов — с критериями приёмки и журналом.

Написать в Telegram →
Обсудить задачу