Блог студии Раисыча AI-агенты · автоматизация
Обсудить задачу
ИИ-агенты для продаж 7 мин чтения 7 September 2026

Production AI-контур: очереди, ретраи, идемпотентность и HITL

Надёжный AI-контур в production — это не «модель + webhook», а очередь задач, ретраи с потолком, идемпотентные записи, human-in-the-loop на спорных шагах и…

Обсудить задачу Все статьи кластера
Production AI-контур: очереди, ретраи, идемпотентность и HITL

Надёжный AI-контур в production — это не «модель + webhook», а очередь задач, ретраи с потолком, идемпотентные записи, human-in-the-loop на спорных шагах и мониторинг падений с DLQ: без этого агент один раз отработает красиво и три раза продублирует оплату, статус или сообщение клиенту. Я собираю контур от потока событий, а не от чата. Ниже — стек принципов и чеклист, которые переживают ночной сбой API, повторную доставку webhook и «зависший» tool call. Без привязки к одному бренду оркестратора: те же правила для self-hosted runner, облачного workflow или кастомного воркера.

Разберём по слоям: как устроен поток событий, где ставить потолок ретраев, как сделать запись идемпотентной, какие шаги отдавать человеку и что считать падением. В конце — чеклист приёмки и ориентиры по срокам и бюджету.

Поток событий, а не чат

Чат — это интерфейс. Контур — это обработка событий. Разница принципиальная: в чате пользователь ждёт ответа и сам повторяет запрос, если что-то сломалось. В контуре событие приходит из CRM, из вебхука оплаты, из очереди сообщений — и его нельзя потерять или обработать дважды.

Минимальная схема:

  1. Источник события — вебхук, поллер, cron, ручной триггер оператора.
  2. Приёмник и валидация — проверка подписи, схемы, обязательных полей. Мусор отсекается здесь, до модели.
  3. Очередь — durable-хранилище задач. Событие сначала фиксируется, потом обрабатывается. Если воркер упал — задача осталась.
  4. Воркер — вызывает модель, инструменты, пишет результат.
  5. DLQ — очередь «разобрать руками» для задач, которые исчерпали ретраи.
  6. Мониторинг — метрики по каждому шагу, алерты на аномалии.

Правило: приём события и его обработка — разные транзакции. Вебхук должен получить 200 быстро, до того как модель что-то подумала. Иначе источник решит, что доставка не удалась, и пришлёт событие повторно.

Ретраи с потолком

Ретрай без потолка — это бесконечный цикл, который жжёт токены и деньги. Ретрай без backoff — это добивание упавшего API.

Что закладывать:

  • Потолок попыток. Для большинства сценариев — 3–5. Дальше задача уходит в DLQ, а не крутится.
  • Экспоненциальный backoff с джиттером. Пауза растёт, разброс по времени не даёт всем воркерам бить в API одновременно.
  • Разделение ошибок. Ретраить имеет смысл сетевые сбои, таймауты, 429 и 5xx. Ошибку валидации, 400, отказ авторизации ретраить бессмысленно — она не исчезнет сама.
  • Таймаут на шаг, а не только на всю задачу. «Зависший» tool call должен обрываться по своему лимиту, иначе он держит воркер и очередь растёт.
  • Идемпотентность ретрая. Повторная попытка не должна создавать вторую запись — об этом ниже.

Ориентир по практике: если доля задач, доходящих до DLQ, стабильно выше нескольких процентов — проблема не в ретраях, а в схеме события или в инструменте. Это оценка, порог зависит от сценария.

Идемпотентность записей

Самая дорогая ошибка контура — дубль побочного эффекта: две оплаты, два письма клиенту, два тикета, два изменения статуса. Ретрай и повторная доставка вебхука делают это штатно, без всяких сбоев.

Механика:

  • Ключ идемпотентности на входе. Генерируется из стабильного идентификатора события (id вебхука, номер заказа + тип операции). Хранится вместе с результатом.
  • Проверка «уже обработано» до побочного эффекта. Не после, а до. Воркер сначала смотрит, нет ли записи по ключу, и только потом пишет.
  • Уникальный индекс в БД. Последняя линия обороны: даже если логика пропустила дубль, база не даст вставить вторую строку.
  • Идемпотентные вызовы внешних систем. Где API поддерживает ключ идемпотентности — передавать его. Где не поддерживает — оборачивать в собственную проверку «создано / не создано».
  • Разделение «подготовить» и «применить». Модель формирует намерение (что сделать), применение — отдельный шаг с проверкой ключа.

Таблица типовых дублей, которые ловятся этими мерами:

Побочный эффект Как дублируется Защита
Оплата / списание повтор вебхука платёжки ключ идемпотентности + уникальный индекс
Сообщение клиенту ретрай после таймаута отправки флаг «отправлено» по ключу задачи
Смена статуса двойная доставка события проверка текущего статуса перед записью
Создание тикета параллельные воркеры уникальный ключ события

Human-in-the-loop на спорных шагах

HITL — не «человек проверяет всё». Это человек на шагах, где ошибка стоит дороже задержки. Если отправлять на подтверждение каждое действие, агент превращается в дорогой черновик.

Что стоит отдавать человеку:

  • Деньги — платежи, возвраты, скидки выше порога.
  • Необратимое — удаление, закрытие сделки, изменение договора.
  • Внешние коммуникации с обязательствами — письма с ценами, сроками, гарантиями.
  • Низкая уверенность модели — когда скоринг ниже порога или входные данные противоречивы.
  • Аномалии — сумма, контрагент или формулировка не встречались в истории.

Как это устроено технически: задача ставится на паузу в состоянии «ждёт решения», оператор видит контекст и предлагаемое действие, подтверждает или правит. Решение логируется. Пауза не блокирует очередь — остальные задачи идут.

Важно: HITL должен иметь таймаут. Если человек не ответил за отведённое время — задача уходит по заранее заданной ветке (эскалация, отказ, повтор), а не висит вечно.

Мониторинг падений и DLQ

Контур без наблюдаемости — это чёрный ящик, который «вроде работал». Мониторить нужно не модель, а поток.

Метрики, которые имеют смысл:

  • глубина очереди и её рост за час;
  • время от события до результата (p50 и p95);
  • доля ретраев и доля задач, дошедших до DLQ;
  • доля задач на HITL и среднее время ожидания решения;
  • ошибки по типам (сеть, валидация, инструмент, модель);
  • стоимость на задачу.

DLQ — не свалка, а рабочая очередь. У неё должен быть владелец, регламент разбора и возможность перезапустить задачу после исправления. Задачи в DLQ без разбора — это тихо потерянные клиенты.

Алерты ставятся на аномалии, а не на каждую ошибку: резкий рост глубины очереди, падение p95, всплеск доли DLQ, серия одинаковых ошибок инструмента.

Чеклист приёмки контура

  • [ ] Событие фиксируется в durable-очереди до обработки.
  • [ ] Вебхук отвечает 200 до вызова модели.
  • [ ] Проверка подписи и схемы на входе.
  • [ ] Потолок ретраев задан, backoff с джиттером.
  • [ ] Ошибки разделены на ретраибельные и нет.
  • [ ] Таймаут на каждый шаг и на всю задачу.
  • [ ] Ключ идемпотентности на входе, проверка до побочного эффекта.
  • [ ] Уникальные индексы в БД на критичных записях.
  • [ ] HITL на деньгах, необратимом и низкой уверенности.
  • [ ] У HITL есть таймаут и ветка по умолчанию.
  • [ ] DLQ с владельцем и регламентом разбора.
  • [ ] Алерты на аномалии потока, а не на каждую ошибку.
  • [ ] Логи решений: что предложила модель, что подтвердил человек.

Сроки и бюджет

Ориентиры по практике студии:

  • Пилот одного сценария — 60–350 тыс ₽. Прототип — 10–14 дней.
  • Базовый агент поддержки — от 50 тыс ₽.
  • Агент продаж — от 200 тыс ₽.
  • Сложный контур (несколько сценариев, HITL, DLQ, интеграции) — от 500 тыс ₽. Полный контур — 30–90 дней.
  • Сопровождение — 15–50 тыс ₽/мес.

Очередь, ретраи, идемпотентность и HITL — это не «дополнительные опции». Это то, что отличает работающий контур от демо. Закладывать их нужно в архитектуру с первого дня: переделывать потом дороже, чем строить сразу.

Если коротко

  • Контур строится от потока событий, а не от чата: событие фиксируется в очереди до обработки.
  • Ретраи — с потолком, backoff и разделением ошибок; «зависший» шаг обрывается таймаутом.
  • Идемпотентность — ключ на входе, проверка до побочного эффекта, уникальный индекс в БД.
  • HITL — на деньгах, необратимом и низкой уверенности; с таймаутом и веткой по умолчанию.
  • DLQ — рабочая очередь с владельцем и регламентом, а не свалка.
  • Мониторинг — по метрикам потока и алертам на аномалии.

FAQ

Нужна ли очередь, если сценариев пока один-два? Да. Очередь — это гарантия, что событие не потеряется при падении воркера. Добавить её позже, когда сценариев станет больше, дороже, чем заложить сразу.

Сколько попыток ретрая ставить? Ориентир — 3–5 с экспоненциальным backoff. Дальше задача уходит в DLQ. Точное число зависит от того, насколько критична задержка и как ведёт себя внешний API.

Чем HITL отличается от обычного согласования? Ничем по сути — это шаг подтверждения человеком. Разница в том, что в AI-контуре он встроен в поток, имеет таймаут и логируется вместе с решением модели.

Что делать с задачей, которая попала в DLQ? Разобрать по регламенту: понять причину, исправить данные или код, перезапустить. У DLQ должен быть владелец, иначе задачи там копятся и теряются.

Можно ли обойтись без идемпотентности, если вебхуки приходят один раз? Повторная доставка — штатное поведение большинства вебхуков, а ретраи вы добавляете сами. Без ключа идемпотентности дубли побочных эффектов — вопрос времени, а не вероятности.

Читайте также

Заявка

Обсудить задачу

Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.

Раисыч

Основатель Студии Раисыча. Проектирую ИИ-контуры для продаж, поддержки и документов — с критериями приёмки и журналом.

Написать в Telegram →
Обсудить задачу