Production AI-контур: очереди, ретраи, идемпотентность и HITL
Надёжный AI-контур в production — это не «модель + webhook», а очередь задач, ретраи с потолком, идемпотентные записи, human-in-the-loop на спорных шагах и…
Надёжный AI-контур в production — это не «модель + webhook», а очередь задач, ретраи с потолком, идемпотентные записи, human-in-the-loop на спорных шагах и мониторинг падений с DLQ: без этого агент один раз отработает красиво и три раза продублирует оплату, статус или сообщение клиенту. Я собираю контур от потока событий, а не от чата. Ниже — стек принципов и чеклист, которые переживают ночной сбой API, повторную доставку webhook и «зависший» tool call. Без привязки к одному бренду оркестратора: те же правила для self-hosted runner, облачного workflow или кастомного воркера.
Разберём по слоям: как устроен поток событий, где ставить потолок ретраев, как сделать запись идемпотентной, какие шаги отдавать человеку и что считать падением. В конце — чеклист приёмки и ориентиры по срокам и бюджету.
Поток событий, а не чат
Чат — это интерфейс. Контур — это обработка событий. Разница принципиальная: в чате пользователь ждёт ответа и сам повторяет запрос, если что-то сломалось. В контуре событие приходит из CRM, из вебхука оплаты, из очереди сообщений — и его нельзя потерять или обработать дважды.
Минимальная схема:
- Источник события — вебхук, поллер, cron, ручной триггер оператора.
- Приёмник и валидация — проверка подписи, схемы, обязательных полей. Мусор отсекается здесь, до модели.
- Очередь — durable-хранилище задач. Событие сначала фиксируется, потом обрабатывается. Если воркер упал — задача осталась.
- Воркер — вызывает модель, инструменты, пишет результат.
- DLQ — очередь «разобрать руками» для задач, которые исчерпали ретраи.
- Мониторинг — метрики по каждому шагу, алерты на аномалии.
Правило: приём события и его обработка — разные транзакции. Вебхук должен получить 200 быстро, до того как модель что-то подумала. Иначе источник решит, что доставка не удалась, и пришлёт событие повторно.
Ретраи с потолком
Ретрай без потолка — это бесконечный цикл, который жжёт токены и деньги. Ретрай без backoff — это добивание упавшего API.
Что закладывать:
- Потолок попыток. Для большинства сценариев — 3–5. Дальше задача уходит в DLQ, а не крутится.
- Экспоненциальный backoff с джиттером. Пауза растёт, разброс по времени не даёт всем воркерам бить в API одновременно.
- Разделение ошибок. Ретраить имеет смысл сетевые сбои, таймауты,
429и5xx. Ошибку валидации,400, отказ авторизации ретраить бессмысленно — она не исчезнет сама. - Таймаут на шаг, а не только на всю задачу. «Зависший» tool call должен обрываться по своему лимиту, иначе он держит воркер и очередь растёт.
- Идемпотентность ретрая. Повторная попытка не должна создавать вторую запись — об этом ниже.
Ориентир по практике: если доля задач, доходящих до DLQ, стабильно выше нескольких процентов — проблема не в ретраях, а в схеме события или в инструменте. Это оценка, порог зависит от сценария.
Идемпотентность записей
Самая дорогая ошибка контура — дубль побочного эффекта: две оплаты, два письма клиенту, два тикета, два изменения статуса. Ретрай и повторная доставка вебхука делают это штатно, без всяких сбоев.
Механика:
- Ключ идемпотентности на входе. Генерируется из стабильного идентификатора события (id вебхука, номер заказа + тип операции). Хранится вместе с результатом.
- Проверка «уже обработано» до побочного эффекта. Не после, а до. Воркер сначала смотрит, нет ли записи по ключу, и только потом пишет.
- Уникальный индекс в БД. Последняя линия обороны: даже если логика пропустила дубль, база не даст вставить вторую строку.
- Идемпотентные вызовы внешних систем. Где API поддерживает ключ идемпотентности — передавать его. Где не поддерживает — оборачивать в собственную проверку «создано / не создано».
- Разделение «подготовить» и «применить». Модель формирует намерение (что сделать), применение — отдельный шаг с проверкой ключа.
Таблица типовых дублей, которые ловятся этими мерами:
| Побочный эффект | Как дублируется | Защита |
|---|---|---|
| Оплата / списание | повтор вебхука платёжки | ключ идемпотентности + уникальный индекс |
| Сообщение клиенту | ретрай после таймаута отправки | флаг «отправлено» по ключу задачи |
| Смена статуса | двойная доставка события | проверка текущего статуса перед записью |
| Создание тикета | параллельные воркеры | уникальный ключ события |
Human-in-the-loop на спорных шагах
HITL — не «человек проверяет всё». Это человек на шагах, где ошибка стоит дороже задержки. Если отправлять на подтверждение каждое действие, агент превращается в дорогой черновик.
Что стоит отдавать человеку:
- Деньги — платежи, возвраты, скидки выше порога.
- Необратимое — удаление, закрытие сделки, изменение договора.
- Внешние коммуникации с обязательствами — письма с ценами, сроками, гарантиями.
- Низкая уверенность модели — когда скоринг ниже порога или входные данные противоречивы.
- Аномалии — сумма, контрагент или формулировка не встречались в истории.
Как это устроено технически: задача ставится на паузу в состоянии «ждёт решения», оператор видит контекст и предлагаемое действие, подтверждает или правит. Решение логируется. Пауза не блокирует очередь — остальные задачи идут.
Важно: HITL должен иметь таймаут. Если человек не ответил за отведённое время — задача уходит по заранее заданной ветке (эскалация, отказ, повтор), а не висит вечно.
Мониторинг падений и DLQ
Контур без наблюдаемости — это чёрный ящик, который «вроде работал». Мониторить нужно не модель, а поток.
Метрики, которые имеют смысл:
- глубина очереди и её рост за час;
- время от события до результата (p50 и p95);
- доля ретраев и доля задач, дошедших до DLQ;
- доля задач на HITL и среднее время ожидания решения;
- ошибки по типам (сеть, валидация, инструмент, модель);
- стоимость на задачу.
DLQ — не свалка, а рабочая очередь. У неё должен быть владелец, регламент разбора и возможность перезапустить задачу после исправления. Задачи в DLQ без разбора — это тихо потерянные клиенты.
Алерты ставятся на аномалии, а не на каждую ошибку: резкий рост глубины очереди, падение p95, всплеск доли DLQ, серия одинаковых ошибок инструмента.
Чеклист приёмки контура
- [ ] Событие фиксируется в durable-очереди до обработки.
- [ ] Вебхук отвечает
200до вызова модели. - [ ] Проверка подписи и схемы на входе.
- [ ] Потолок ретраев задан, backoff с джиттером.
- [ ] Ошибки разделены на ретраибельные и нет.
- [ ] Таймаут на каждый шаг и на всю задачу.
- [ ] Ключ идемпотентности на входе, проверка до побочного эффекта.
- [ ] Уникальные индексы в БД на критичных записях.
- [ ] HITL на деньгах, необратимом и низкой уверенности.
- [ ] У HITL есть таймаут и ветка по умолчанию.
- [ ] DLQ с владельцем и регламентом разбора.
- [ ] Алерты на аномалии потока, а не на каждую ошибку.
- [ ] Логи решений: что предложила модель, что подтвердил человек.
Сроки и бюджет
Ориентиры по практике студии:
- Пилот одного сценария — 60–350 тыс ₽. Прототип — 10–14 дней.
- Базовый агент поддержки — от 50 тыс ₽.
- Агент продаж — от 200 тыс ₽.
- Сложный контур (несколько сценариев, HITL, DLQ, интеграции) — от 500 тыс ₽. Полный контур — 30–90 дней.
- Сопровождение — 15–50 тыс ₽/мес.
Очередь, ретраи, идемпотентность и HITL — это не «дополнительные опции». Это то, что отличает работающий контур от демо. Закладывать их нужно в архитектуру с первого дня: переделывать потом дороже, чем строить сразу.
Если коротко
- Контур строится от потока событий, а не от чата: событие фиксируется в очереди до обработки.
- Ретраи — с потолком, backoff и разделением ошибок; «зависший» шаг обрывается таймаутом.
- Идемпотентность — ключ на входе, проверка до побочного эффекта, уникальный индекс в БД.
- HITL — на деньгах, необратимом и низкой уверенности; с таймаутом и веткой по умолчанию.
- DLQ — рабочая очередь с владельцем и регламентом, а не свалка.
- Мониторинг — по метрикам потока и алертам на аномалии.
FAQ
Нужна ли очередь, если сценариев пока один-два? Да. Очередь — это гарантия, что событие не потеряется при падении воркера. Добавить её позже, когда сценариев станет больше, дороже, чем заложить сразу.
Сколько попыток ретрая ставить? Ориентир — 3–5 с экспоненциальным backoff. Дальше задача уходит в DLQ. Точное число зависит от того, насколько критична задержка и как ведёт себя внешний API.
Чем HITL отличается от обычного согласования? Ничем по сути — это шаг подтверждения человеком. Разница в том, что в AI-контуре он встроен в поток, имеет таймаут и логируется вместе с решением модели.
Что делать с задачей, которая попала в DLQ? Разобрать по регламенту: понять причину, исправить данные или код, перезапустить. У DLQ должен быть владелец, иначе задачи там копятся и теряются.
Можно ли обойтись без идемпотентности, если вебхуки приходят один раз? Повторная доставка — штатное поведение большинства вебхуков, а ретраи вы добавляете сами. Без ключа идемпотентности дубли побочных эффектов — вопрос времени, а не вероятности.
Читайте также
- Продакшн AI-контура: очереди, retry, идемпотентность, HITL — чек-лист на 2026
- 7 ошибок production AI-агентов и handoff человек↔агент
- Протокол handoff AI-агента: QA-скоринг в production — этапы, цифры и сроки
Обсудить задачу
Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.