Продакшн AI-контура: очереди, retry, идемпотентность, HITL — чек-лист на 2026
В продакшн-контуре AI-агента отказоустойчивость важнее качества модели. Чтобы система не теряла заявки и не дублировала действия, нужны четыре элемента…
В продакшн-контуре AI-агента отказоустойчивость важнее качества модели. Чтобы система не теряла заявки и не дублировала действия, нужны четыре элемента: очередь с гарантией доставки, retry с идемпотентностью, ограничение повторов и HITL для неоднозначных случаев. Ниже — чек-лист из 20 пунктов, который можно использовать при приёмке контура или аудите текущего.
Почему без очереди и retry контур ломается
Любой вызов LLM или внешнего API может завершиться ошибкой: таймаут, 429 от провайдера, сетевой сбой, невалидный JSON в ответе. Если обрабатывать запрос синхронно в момент прихода, при сбое заявка теряется или клиент получает ошибку. Очередь решает три задачи:
- Развязывает приём и обработку. Вебхук от CRM или формы кладёт сообщение в очередь и сразу отвечает 200. Обработчик забирает его, когда есть мощность.
- Даёт точку повтора. Сообщение не удаляется, пока не подтверждена успешная обработка.
- Позволяет масштабировать. Несколько воркеров разбирают очередь параллельно, пиковая нагрузка не кладёт контур.
Для большинства проектов малого и среднего бизнеса достаточно Redis Streams, RabbitMQ или облачной очереди (Yandex Message Queue, AWS SQS). Выбор зависит от того, где уже живёт инфраструктура.
Очередь: что проверить
- Гарантия доставки. At-least-once — минимальное требование. Exactly-once на уровне очереди не бывает, поэтому идемпотентность обязательна (см. ниже).
- DLQ (dead letter queue). Сообщения, которые не обработались после N попыток, уходят в отдельную очередь, а не теряются. По DLQ настраивается алерт.
- Видимость сообщения (visibility timeout). Время, на которое сообщение скрывается от других воркеров, должно быть больше максимального времени обработки. Иначе два воркера возьмут одно сообщение.
- Приоритеты. Заявки от клиентов и фоновые задачи не должны конкурировать в одной очереди. Минимум две очереди: интерактивная и фоновая.
- Мониторинг глубины. Алерт, если очередь растёт быстрее, чем разбирается, — ранний сигнал деградации.
Retry: стратегия и лимиты
Retry без ограничений превращает сбой провайдера в шторм запросов. Рабочая схема:
- Экспоненциальная задержка с джиттером. 1 с, 2 с, 4 с, 8 с плюс случайные 0–500 мс, чтобы воркеры не били синхронно.
- Лимит попыток. 3–5 для интерактивных запросов, до 10 для фоновых. Дальше — DLQ и уведомление.
- Разделение ошибок. 429 и 5xx — повторяем. 400, 401, 403 — не повторяем, сразу в DLQ или HITL: повтор не исправит невалидный запрос или отозванный ключ.
- Таймауты на каждом уровне. Отдельно на HTTP-вызов, на вызов LLM, на обработку сообщения целиком. Без таймаута воркер зависает и держит сообщение до visibility timeout.
- Circuit breaker. Если провайдер отдаёт ошибки подряд, контур на время перестаёт к нему обращаться и переключается на резервную модель или ставит задачи в очередь.
Идемпотентность: как не сделать действие дважды
At-least-once означает, что сообщение может прийти дважды. Если обработчик создаёт сделку в CRM или отправляет письмо, дубль — это уже бизнес-ошибка. Решение — ключ идемпотентности.
Схема:
- На входе генерируется
idempotency_key— хеш от ID заявки, канала и типа действия. Для вебхуков CRM это обычно ID события. - Перед выполнением обработчик проверяет ключ в хранилище (Redis, таблица в БД). Если ключ есть и статус
done— возвращается сохранённый результат, действие не повторяется. - Если ключа нет — ставится блокировка
in_progressс TTL, выполняется действие, результат сохраняется, статус меняется наdone. - TTL блокировки больше максимального времени обработки, иначе параллельный воркер решит, что задача брошена, и запустит её снова.
Что проверить:
- Ключ строится из стабильных полей, а не из timestamp или случайного UUID.
- Внешние API поддерживают идемпотентность. Если нет — идемпотентность обеспечивается на своей стороне: сначала запись в свою БД, потом вызов.
- Побочные действия (письма, SMS, платежи) идут через идемпотентный слой, а не напрямую из обработчика.
HITL: где человек обязателен
Human-in-the-loop — не «костыль», а штатный элемент контура. Правило: если модель не уверена или действие необратимо, решение принимает человек.
Триггеры для HITL:
- Низкая уверенность модели или противоречивые данные в заявке.
- Необратимые действия: возврат денег, изменение договора, удаление записи.
- Сумма сделки выше порога, заданного бизнесом.
- Клиент явно просит человека или жалуется.
- Ошибка валидации ответа LLM после retry.
Что должно быть в интерфейсе оператора:
- Исходное сообщение, контекст из CRM, черновик ответа модели.
- Кнопки «подтвердить», «исправить и отправить», «отклонить» с причиной.
- Лог: кто, когда, что изменил. Это нужно и для разбора инцидентов, и для дообучения.
SLA на разбор. Если очередь HITL растёт, контур фактически не работает. Нужен алерт по количеству задач старше заданного времени и понятный ответственный.
Чек-лист приёмки контура
| Блок | Пункт | Готово |
|---|---|---|
| Очередь | At-least-once, DLQ, алерт на глубину | ☐ |
| Очередь | Visibility timeout > времени обработки | ☐ |
| Очередь | Разделение интерактивных и фоновых задач | ☐ |
| Retry | Экспоненциальная задержка с джиттером | ☐ |
| Retry | Лимит попыток и разбор ошибок по типам | ☐ |
| Retry | Таймауты на HTTP, LLM и обработку | ☐ |
| Retry | Circuit breaker и резервная модель | ☐ |
| Идемпотентность | Ключ из стабильных полей | ☐ |
| Идемпотентность | Хранилище ключей с TTL и статусами | ☐ |
| Идемпотентность | Побочные действия через идемпотентный слой | ☐ |
| HITL | Триггеры и пороги зафиксированы | ☐ |
| HITL | Интерфейс оператора с логом решений | ☐ |
| HITL | SLA и алерт на просроченные задачи | ☐ |
| Наблюдаемость | Логи с correlation_id по всей цепочке | ☐ |
| Наблюдаемость | Метрики: latency, доля ошибок, размер DLQ | ☐ |
| Наблюдаемость | Трассировка вызовов LLM и внешних API | ☐ |
| Безопасность | Секреты вне кода, ротация ключей | ☐ |
| Безопасность | Ограничение прав агента на действия | ☐ |
| Тесты | Прогон сценариев сбоев и дублей | ☐ |
| Документация | Runbook на инциденты и разбор DLQ | ☐ |
Сроки и бюджет
Ориентиры студии: пилот одного сценария — 60–350 тыс ₽, базовый агент поддержки — от 50 тыс ₽, агент продаж — от 200 тыс ₽, сложный контур с очередями, HITL и интеграциями — от 500 тыс ₽. Сопровождение — 15–50 тыс ₽/мес. Прототип — 10–14 дней, полный контур — 30–90 дней. Отказоустойчивость закладывается на этапе проектирования: доработка готового контура обходится дороже, чем сразу сделать очередь и идемпотентность.
Если коротко
- Очередь с at-least-once и DLQ — база, без неё заявки теряются при сбоях.
- Retry — только с лимитом, задержкой и разбором ошибок по типам.
- Идемпотентность обязательна: очередь даёт дубли, ключ защищает от повторных действий.
- HITL — для необратимых действий, низкой уверенности и сумм выше порога.
- Наблюдаемость и runbook — часть контура, а не «после запуска».
FAQ
Нужна ли очередь, если агент обрабатывает 10 заявок в день? Да. Очередь нужна не для нагрузки, а для надёжности: она хранит сообщение, пока обработка не подтверждена, и даёт точку повтора при сбое провайдера.
Чем отличается retry от идемпотентности? Retry повторяет операцию после ошибки. Идемпотентность гарантирует, что повтор не создаст дубль. Они работают в паре: без идемпотентности retry опасен.
Можно ли обойтись без HITL? Можно, если агент выполняет только обратимые действия и не принимает решений о деньгах и договорах. Как только появляется необратимое действие, HITL нужен.
Сколько попыток retry ставить? 3–5 для интерактивных запросов, до 10 для фоновых. Дальше — DLQ и уведомление. Бесконечный retry превращает сбой провайдера в шторм запросов.
Как понять, что контур готов к продакшну? Прогнать сценарии сбоев: таймаут LLM, 429 от провайдера, дубль вебхука, невалидный JSON, отказ внешнего API. Если каждый сценарий обработан по чек-листу — контур готов.
Что делать с сообщениями в DLQ? Разбирать вручную по runbook: определить причину, исправить данные или код, вернуть сообщение в работу. DLQ без разбора — это скрытая потеря заявок.
Читайте также
- Production AI-контур: очереди, ретраи, идемпотентность и HITL
- Очереди, retry и DLQ: как не терять заявки в автоматизации
- Очереди, retry и DLQ: как не терять заявки в автоматизации — схема, этапы, сроки
Обсудить задачу
Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.