Очереди, retry и DLQ: как не терять заявки в автоматизации
Чтобы не терять заявки в автоматизации, нужен не «ещё один webhook в Make», а контур из очереди, идемпотентного worker, retry с backoff, DLQ и явной…
Чтобы не терять заявки в автоматизации, нужен не «ещё один webhook в Make», а контур из очереди, идемпотентного worker, retry с backoff, DLQ и явной эскалации человеку — иначе сбой CRM в пятницу вечером съедает лиды молча. Я проектирую pipeline от входящего события до результата так, будто интеграции будут падать: таймауты, 429, частичные ответы, дубли. Ниже — рабочая схема, метрики и правила, которые удерживают поток заявок в МСП без героизма дежурного. Минимальный боевой контур я собираю из пяти узлов: приёмник события, очередь, worker с идемпотентностью, политика повторов и DLQ с эскалацией. Всё остальное — обвязка вокруг этих пяти.
Почему «просто webhook» теряет заявки
Webhook — это синхронный вызов: платформа ждёт ответа от вашей CRM или скрипта. Пока ответ пришёл быстро, всё выглядит надёжно. Проблемы начинаются, когда одна из сторон ведёт себя неидеально.
Типичные сценарии потери, которые я вижу в МСП:
- Таймаут. CRM отвечает дольше 10–30 секунд (например, на загруженной базе или при массовом импорте). Платформа считает вызов неуспешным и либо не повторяет его, либо повторяет, но вы этого не видите.
- 429 Too Many Requests. При всплеске заявок (реклама, рассылка, сезон) интеграция упирается в rate limit. Без backoff повторы долбят API в ту же секунду и получают отказ снова.
- Частичный ответ. Заявка создана в CRM, но тег или ответственный не проставились. Формально «успех», фактически лид в подвешенном состоянии.
- Дубли. Retry после таймаута создаёт вторую сделку по той же заявке. Менеджер видит две, работает с одной, вторая висит мёртвой.
- Молчаливый сбой в нерабочее время. Пятница, 20:40, CRM на обслуживании. Webhook падает, никто не смотрит в логи до понедельника. За выходные — ноль обработки.
Общая причина одна: нет места, где событие хранится, пока не будет обработано. Webhook живёт в моменте. Очередь живёт, пока задача не закрыта.
Пять узлов боевого контура
Разложу минимальную схему по узлам и тому, что каждый гарантирует.
| Узел | Задача | Что гарантирует |
|---|---|---|
| Приёмник события | Принять входящий вызов и сразу ответить 2xx | Быстрый ответ источнику, событие не теряется на входе |
| Очередь | Хранить событие до обработки | Устойчивость к падению worker и перезапускам |
| Worker с идемпотентностью | Обработать событие ровно один раз по смыслу | Нет дублей при повторах |
| Retry с backoff | Повторять временные сбои | Не терять заявку из-за 429/таймаута |
| DLQ + эскалация | Ловить то, что не вышло после повторов | Человек узнаёт о проблеме, а не обнаруживает её сам |
Приёмник события. Отдельный лёгкий endpoint (или функция), который только валидирует подпись/формат и кладёт событие в очередь. Он не ходит в CRM. Отвечает 2xx за миллисекунды. Всё, что тяжелее, — забота worker.
Очередь. Подойдёт любая managed-очередь (SQS, RabbitMQ, Redis Streams, облачный аналог) или даже таблица в БД с полем статуса, если объёмы небольшие. Ключевое: событие лежит на диске, пока не получит финальный статус — «обработано» или «в DLQ».
Worker с идемпотентностью. Обработчик берёт событие из очереди и выполняет бизнес-логику: создать сделку, проставить теги, отправить уведомление. Идемпотентность — через ключ события (например, external_id заявки или хэш тела запроса). Перед созданием записи worker проверяет: не обрабатывали ли уже этот ключ. Если да — пропускает. Это защищает от дублей при любых повторах.
Retry с backoff. Временные ошибки (таймаут, 429, 5xx) повторяются с нарастающей паузой: условно 1 мин → 5 мин → 15 мин → 1 час. Постоянные ошибки (400, невалидные данные) не повторяются бесконечно — сразу в DLQ, потому что повтор ничего не изменит.
DLQ + эскалация. Dead Letter Queue — это очередь «того, что не получилось». Каждое сообщение в ней — сигнал человеку: в чат дежурному, на почту ответственному, в тикет. Без эскалации DLQ превращается в свалку, куда никто не смотрит.
Идемпотентность: как не плодить дубли
Идемпотентность — самая недооценённая часть. Без неё retry опасен: каждый повтор рискует создать новую сделку.
Практические правила:
- Ключ идемпотентности генерируется на входе (в приёмнике) и передаётся через очередь до worker. Не полагайтесь на автоинкремент CRM.
- Проверка перед записью. Worker сначала ищет запись по ключу, потом создаёт. Между проверкой и созданием — узкое окно гонки; при высоких объёмах помогает уникальный индекс в БД по ключу.
- Статусы события явные:
new → processing → doneилиfailed → dlq. Событие не может «зависнуть» без статуса — иначе не поймёте, обработано оно или нет. - Частичный успех фиксируется. Если сделка создана, а тег не проставлен — это отдельный шаг со своим статусом, а не «всё упало».
Дубли в CRM дороже, чем кажется: менеджер тратит время, аналитика искажается, клиенту могут позвонить дважды.
Retry с backoff и DLQ: правила, а не надежда
Политика повторов должна быть записана, а не «на усмотрение скрипта». Рабочая логика:
- Классифицируйте ошибки. Временные (таймаут, 429, 5xx) — повторяем. Постоянные (400, 401, 422, невалидная схема) — сразу в DLQ.
- Backoff с джиттером. Пауза растёт, плюс случайный разброс, чтобы повторы не били в API синхронно.
- Ограничение числа попыток. Например, 5–7. Дальше — DLQ. Бесконечный retry маскирует проблему.
- DLQ — не архив, а рабочая очередь. По каждому сообщению: кто ответственный, в какой срок разбирает, что делать (переотправить вручную, исправить данные, закрыть).
- Эскалация по таймеру. Если сообщение в DLQ висит дольше N часов без реакции — сигнал выше по цепочке.
Отдельно про нерабочее время: сбой в пятницу вечером не должен ждать понедельника. Эскалация в дежурный чат с уведомлением — обязательный узел, а не «приятный бонус».
Метрики, которые показывают, что контур жив
Без метрик вы не знаете, теряете ли заявки. Минимальный набор:
- Объём входящих событий по часам и дням — база для сравнения.
- Доля успешно обработанных (done / всего) — целевой ориентир близок к 100%.
- Глубина очереди — если растёт и не падает, worker не справляется.
- Число повторов и их распределение по типам ошибок.
- Объём DLQ и время нахождения в DLQ до разбора.
- Число дублей, отсечённых идемпотентностью (показывает, что защита работает).
Алерты ставьте на: рост глубины очереди выше порога, сообщения в DLQ, долю ошибок выше N%, отсутствие событий там, где они обычно есть (тихий сбой источника).
Сколько это стоит и сколько занимает
Ориентиры студии:
- Пилот одного сценария — 60–350 тыс ₽. Для первого контура с очередью, worker и DLQ обычно достаточно пилота: один поток заявок, одна интеграция, базовая эскалация.
- Базовый агент поддержки — от 50 тыс ₽.
- Агент продаж — от 200 тыс ₽.
- Сложный контур (несколько интеграций, ветвления, расширенная идемпотентность) — от 500 тыс ₽.
- Сопровождение — 15–50 тыс ₽/мес: мониторинг очереди и DLQ, разбор инцидентов, донастройка политик повторов.
Сроки: прототип — 10–14 дней, полный контур — 30–90 дней в зависимости от числа интеграций и требований к эскалации.
Если коротко
- Webhook без очереди теряет заявки на таймаутах, 429 и сбоях в нерабочее время.
- Боевой контур — пять узлов: приёмник, очередь, идемпотентный worker, retry с backoff, DLQ с эскалацией.
- Идемпотентность через ключ события защищает от дублей при повторах.
- Временные ошибки повторяются с нарастающей паузой, постоянные — сразу в DLQ.
- DLQ без эскалации — свалка. Нужен ответственный и срок разбора.
- Метрики: доля успешных, глубина очереди, объём и время в DLQ, отсечённые дубли.
- Пилот одного сценария — 60–350 тыс ₽, прототип 10–14 дней.
FAQ
Нужна ли отдельная очередь, если заявок мало — пара десятков в день? При малых объёмах роль очереди может играть таблица в БД со статусами. Принцип тот же: событие хранится до финального статуса, есть идемпотентность и DLQ. Managed-очередь удобнее, но не обязательна.
Чем DLQ отличается от логов ошибок? Лог — пассивная запись, в него редко смотрят. DLQ — активная очередь с ответственным и сроком разбора. Сообщение в DLQ означает действие человека, а не строку в файле.
Сколько попыток retry ставить? Ориентир — 5–7 с backoff и джиттером. Точное число зависит от SLA интеграции: если API восстанавливается за час, паузы настраиваются под это. Бесконечный retry маскирует проблему.
Как понять, что мы уже теряем заявки? Сравните число заявок на входе (форма, реклама, мессенджер) с числом созданных сделок за период. Расхождение — сигнал. Дополнительно — доля событий без финального статуса и объём DLQ.
Можно ли обойтись без идемпотентности, если retry настроен аккуратно? Нет. Любой повтор после таймаута рискует создать дубль, потому что вы не знаете, дошёл ли первый вызов. Идемпотентность — не замена retry, а его обязательное условие.
Читайте также
- Очереди, retry и DLQ: как не терять заявки в автоматизации — схема, этапы, сроки
- Продакшн AI-контура: очереди, retry, идемпотентность, HITL — чек-лист на 2026
- Оркестрация нескольких AI-агентов без хаоса: роли, очереди, память
Обсудить задачу
Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.