Блог студии Раисыча AI-агенты · автоматизация
Обсудить задачу
ИИ-агенты для продаж 7 мин чтения 14 August 2026

Очереди, retry и DLQ: как не терять заявки в автоматизации

Чтобы не терять заявки в автоматизации, нужен не «ещё один webhook в Make», а контур из очереди, идемпотентного worker, retry с backoff, DLQ и явной…

Обсудить задачу Все статьи кластера
Очереди, retry и DLQ: как не терять заявки в автоматизации

Чтобы не терять заявки в автоматизации, нужен не «ещё один webhook в Make», а контур из очереди, идемпотентного worker, retry с backoff, DLQ и явной эскалации человеку — иначе сбой CRM в пятницу вечером съедает лиды молча. Я проектирую pipeline от входящего события до результата так, будто интеграции будут падать: таймауты, 429, частичные ответы, дубли. Ниже — рабочая схема, метрики и правила, которые удерживают поток заявок в МСП без героизма дежурного. Минимальный боевой контур я собираю из пяти узлов: приёмник события, очередь, worker с идемпотентностью, политика повторов и DLQ с эскалацией. Всё остальное — обвязка вокруг этих пяти.

Почему «просто webhook» теряет заявки

Webhook — это синхронный вызов: платформа ждёт ответа от вашей CRM или скрипта. Пока ответ пришёл быстро, всё выглядит надёжно. Проблемы начинаются, когда одна из сторон ведёт себя неидеально.

Типичные сценарии потери, которые я вижу в МСП:

  • Таймаут. CRM отвечает дольше 10–30 секунд (например, на загруженной базе или при массовом импорте). Платформа считает вызов неуспешным и либо не повторяет его, либо повторяет, но вы этого не видите.
  • 429 Too Many Requests. При всплеске заявок (реклама, рассылка, сезон) интеграция упирается в rate limit. Без backoff повторы долбят API в ту же секунду и получают отказ снова.
  • Частичный ответ. Заявка создана в CRM, но тег или ответственный не проставились. Формально «успех», фактически лид в подвешенном состоянии.
  • Дубли. Retry после таймаута создаёт вторую сделку по той же заявке. Менеджер видит две, работает с одной, вторая висит мёртвой.
  • Молчаливый сбой в нерабочее время. Пятница, 20:40, CRM на обслуживании. Webhook падает, никто не смотрит в логи до понедельника. За выходные — ноль обработки.

Общая причина одна: нет места, где событие хранится, пока не будет обработано. Webhook живёт в моменте. Очередь живёт, пока задача не закрыта.

Пять узлов боевого контура

Разложу минимальную схему по узлам и тому, что каждый гарантирует.

Узел Задача Что гарантирует
Приёмник события Принять входящий вызов и сразу ответить 2xx Быстрый ответ источнику, событие не теряется на входе
Очередь Хранить событие до обработки Устойчивость к падению worker и перезапускам
Worker с идемпотентностью Обработать событие ровно один раз по смыслу Нет дублей при повторах
Retry с backoff Повторять временные сбои Не терять заявку из-за 429/таймаута
DLQ + эскалация Ловить то, что не вышло после повторов Человек узнаёт о проблеме, а не обнаруживает её сам

Приёмник события. Отдельный лёгкий endpoint (или функция), который только валидирует подпись/формат и кладёт событие в очередь. Он не ходит в CRM. Отвечает 2xx за миллисекунды. Всё, что тяжелее, — забота worker.

Очередь. Подойдёт любая managed-очередь (SQS, RabbitMQ, Redis Streams, облачный аналог) или даже таблица в БД с полем статуса, если объёмы небольшие. Ключевое: событие лежит на диске, пока не получит финальный статус — «обработано» или «в DLQ».

Worker с идемпотентностью. Обработчик берёт событие из очереди и выполняет бизнес-логику: создать сделку, проставить теги, отправить уведомление. Идемпотентность — через ключ события (например, external_id заявки или хэш тела запроса). Перед созданием записи worker проверяет: не обрабатывали ли уже этот ключ. Если да — пропускает. Это защищает от дублей при любых повторах.

Retry с backoff. Временные ошибки (таймаут, 429, 5xx) повторяются с нарастающей паузой: условно 1 мин → 5 мин → 15 мин → 1 час. Постоянные ошибки (400, невалидные данные) не повторяются бесконечно — сразу в DLQ, потому что повтор ничего не изменит.

DLQ + эскалация. Dead Letter Queue — это очередь «того, что не получилось». Каждое сообщение в ней — сигнал человеку: в чат дежурному, на почту ответственному, в тикет. Без эскалации DLQ превращается в свалку, куда никто не смотрит.

Идемпотентность: как не плодить дубли

Идемпотентность — самая недооценённая часть. Без неё retry опасен: каждый повтор рискует создать новую сделку.

Практические правила:

  • Ключ идемпотентности генерируется на входе (в приёмнике) и передаётся через очередь до worker. Не полагайтесь на автоинкремент CRM.
  • Проверка перед записью. Worker сначала ищет запись по ключу, потом создаёт. Между проверкой и созданием — узкое окно гонки; при высоких объёмах помогает уникальный индекс в БД по ключу.
  • Статусы события явные: new → processing → done или failed → dlq. Событие не может «зависнуть» без статуса — иначе не поймёте, обработано оно или нет.
  • Частичный успех фиксируется. Если сделка создана, а тег не проставлен — это отдельный шаг со своим статусом, а не «всё упало».

Дубли в CRM дороже, чем кажется: менеджер тратит время, аналитика искажается, клиенту могут позвонить дважды.

Retry с backoff и DLQ: правила, а не надежда

Политика повторов должна быть записана, а не «на усмотрение скрипта». Рабочая логика:

  • Классифицируйте ошибки. Временные (таймаут, 429, 5xx) — повторяем. Постоянные (400, 401, 422, невалидная схема) — сразу в DLQ.
  • Backoff с джиттером. Пауза растёт, плюс случайный разброс, чтобы повторы не били в API синхронно.
  • Ограничение числа попыток. Например, 5–7. Дальше — DLQ. Бесконечный retry маскирует проблему.
  • DLQ — не архив, а рабочая очередь. По каждому сообщению: кто ответственный, в какой срок разбирает, что делать (переотправить вручную, исправить данные, закрыть).
  • Эскалация по таймеру. Если сообщение в DLQ висит дольше N часов без реакции — сигнал выше по цепочке.

Отдельно про нерабочее время: сбой в пятницу вечером не должен ждать понедельника. Эскалация в дежурный чат с уведомлением — обязательный узел, а не «приятный бонус».

Метрики, которые показывают, что контур жив

Без метрик вы не знаете, теряете ли заявки. Минимальный набор:

  • Объём входящих событий по часам и дням — база для сравнения.
  • Доля успешно обработанных (done / всего) — целевой ориентир близок к 100%.
  • Глубина очереди — если растёт и не падает, worker не справляется.
  • Число повторов и их распределение по типам ошибок.
  • Объём DLQ и время нахождения в DLQ до разбора.
  • Число дублей, отсечённых идемпотентностью (показывает, что защита работает).

Алерты ставьте на: рост глубины очереди выше порога, сообщения в DLQ, долю ошибок выше N%, отсутствие событий там, где они обычно есть (тихий сбой источника).

Сколько это стоит и сколько занимает

Ориентиры студии:

  • Пилот одного сценария — 60–350 тыс ₽. Для первого контура с очередью, worker и DLQ обычно достаточно пилота: один поток заявок, одна интеграция, базовая эскалация.
  • Базовый агент поддержки — от 50 тыс ₽.
  • Агент продаж — от 200 тыс ₽.
  • Сложный контур (несколько интеграций, ветвления, расширенная идемпотентность) — от 500 тыс ₽.
  • Сопровождение — 15–50 тыс ₽/мес: мониторинг очереди и DLQ, разбор инцидентов, донастройка политик повторов.

Сроки: прототип — 10–14 дней, полный контур — 30–90 дней в зависимости от числа интеграций и требований к эскалации.

Если коротко

  • Webhook без очереди теряет заявки на таймаутах, 429 и сбоях в нерабочее время.
  • Боевой контур — пять узлов: приёмник, очередь, идемпотентный worker, retry с backoff, DLQ с эскалацией.
  • Идемпотентность через ключ события защищает от дублей при повторах.
  • Временные ошибки повторяются с нарастающей паузой, постоянные — сразу в DLQ.
  • DLQ без эскалации — свалка. Нужен ответственный и срок разбора.
  • Метрики: доля успешных, глубина очереди, объём и время в DLQ, отсечённые дубли.
  • Пилот одного сценария — 60–350 тыс ₽, прототип 10–14 дней.

FAQ

Нужна ли отдельная очередь, если заявок мало — пара десятков в день? При малых объёмах роль очереди может играть таблица в БД со статусами. Принцип тот же: событие хранится до финального статуса, есть идемпотентность и DLQ. Managed-очередь удобнее, но не обязательна.

Чем DLQ отличается от логов ошибок? Лог — пассивная запись, в него редко смотрят. DLQ — активная очередь с ответственным и сроком разбора. Сообщение в DLQ означает действие человека, а не строку в файле.

Сколько попыток retry ставить? Ориентир — 5–7 с backoff и джиттером. Точное число зависит от SLA интеграции: если API восстанавливается за час, паузы настраиваются под это. Бесконечный retry маскирует проблему.

Как понять, что мы уже теряем заявки? Сравните число заявок на входе (форма, реклама, мессенджер) с числом созданных сделок за период. Расхождение — сигнал. Дополнительно — доля событий без финального статуса и объём DLQ.

Можно ли обойтись без идемпотентности, если retry настроен аккуратно? Нет. Любой повтор после таймаута рискует создать дубль, потому что вы не знаете, дошёл ли первый вызов. Идемпотентность — не замена retry, а его обязательное условие.

Читайте также

Заявка

Обсудить задачу

Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.

Раисыч

Основатель Студии Раисыча. Проектирую ИИ-контуры для продаж, поддержки и документов — с критериями приёмки и журналом.

Написать в Telegram →
Обсудить задачу