Блог студии Раисыча AI-агенты · автоматизация
Обсудить задачу
ИИ-агенты для продаж 8 мин чтения 19 August 2026

Observability AI-пайплайнов: логи, трейсы, HITL, SLA

Observability AI-пайплайна в production — это связка session/trace ID, структурированных логов tool-calling, метрик качества и cost, human-in-the-loop на…

Обсудить задачу Все статьи кластера
Observability AI-пайплайнов: логи, трейсы, HITL, SLA

Observability AI-пайплайна в production — это связка session/trace ID, структурированных логов tool-calling, метрик качества и cost, human-in-the-loop на риск-зонах и алертов по error budget; без этого «агент в проде» остаётся демо с красивым UI. Я не начинаю с выбора APM-бренда. Сначала фиксирую: что такое успешная сессия, какие side-effects допустимы, кого будить и за сколько минут. Ниже — рабочий каркас логов, трейсов, HITL и SLA, который я закладываю до масштабирования трафика. Классические три столпа (logs / metrics / traces) для LLM-агентов недостаточны без eval-сигнала и политики.

Разница принципиальная. Обычный сервис отвечает «200 OK» — и это почти всегда правда. Агент отвечает «200 OK» и при этом выдумал артикул, отправил письмо не тому адресату или потратил 40 тысяч токенов на один диалог. HTTP-код об этом не знает. Поэтому observability здесь — не про аптайм, а про то, можно ли доверять конкретной сессии и сколько она стоила.

Сначала контракт сессии, потом инструменты

До любого APM-вендора нужно письменно ответить на четыре вопроса. Это занимает полдня и экономит месяцы переделок.

  1. Что такое успешная сессия. Не «пользователь доволен», а проверяемый признак: заявка создана и получила номер, ответ содержит ссылку на источник из базы знаний, оператор не переоткрывал тикет в течение 24 часов. Один-два критерия, не десять.
  2. Какие side-effects допустимы. Список действий, которые агент может совершить без человека: прочитать заказ, сформировать черновик ответа, поставить тег. И список запрещённых: списание денег, изменение цены, отправка внешнего письма, удаление записи.
  3. Кого будить. Конкретные люди и чаты по типам инцидентов, а не «команда поддержки». Для ночных срабатываний — один дежурный, не группа.
  4. За сколько минут. Целевое время реакции на инцидент класса «агент пишет клиентам ерунду» — минуты, на «выросла стоимость сессии» — часы. Разница в порядках, и она должна быть зафиксирована.

Эти четыре пункта — фундамент. Всё остальное (какие поля в логах, какие дашборды, какие алерты) выводится из них механически.

Логи: структура важнее объёма

Лог LLM-пайплайна отличается от обычного тем, что в нём есть промпты, ответы модели и вызовы инструментов. Логировать всё подряд — быстро упереться в счёт за хранение и всё равно не найти нужную сессию. Минимальный набор полей на каждый шаг:

Поле Зачем
session_id, trace_id, span_id связать диалог, шаг и вложенный вызов
step_type llm_call, tool_call, retrieval, handoff
tool_name, tool_args_hash, tool_status что вызвали, с чем, чем закончилось
latency_ms, tokens_in, tokens_out, cost_rub стоимость и скорость на шаг
model_id, prompt_version воспроизводимость: с какой версией промпта это случилось
guardrail_flags сработавшие проверки: PII, запрещённая тема, лимит длины
eval_score оценка качества шага или сессии, если считается

Три правила, которые я закладываю сразу:

  • Полные тексты промптов и ответов — в отдельное хранилище с ограниченным сроком. В операционных логах держим хэши и ссылки. Иначе персональные данные расползаются по всей инфраструктуре, и это уже не observability, а инцидент по 152-ФЗ.
  • prompt_version — обязательное поле. Без него невозможно ответить на вопрос «стало хуже после вчерашнего деплоя или после правки промпта».
  • Ошибки инструментов логируются как данные, а не как исключения. Агент, который три раза подряд не смог вызвать API склада, — это сигнал, а не шум в стектрейсах.

Трейсы: один диалог — одно дерево

Трейс для агента — это дерево, где корень — сессия пользователя, ветки — шаги, листья — вызовы модели и инструментов. Без такого дерева разбор инцидента превращается в археологию по временным меткам.

Что даёт корректный трейс на практике:

  • видно, на каком именно шаге агент ушёл в цикл (классика — повторяющийся tool_call с теми же аргументами);
  • видно, сколько шагов и токенов ушло до ответа, — это первые кандидаты в оптимизацию;
  • видно, где вмешался человек, — точка HITL становится обычным спаном, а не отдельной таблицей в чужой системе.

Практическое требование: trace_id должен прокидываться сквозь все сервисы, включая очередь и воркеры. Если агент асинхронный, а это почти всегда так, — без сквозного ID трейс рвётся на входе в очередь, и половина работы теряется.

Метрики: качество и стоимость на одном экране

Технические метрики (latency, error rate, throughput) нужны, но их недостаточно. К ним добавляются три группы.

Качество. Здесь работает eval-сигнал: доля сессий, прошедших проверку по критериям из контракта; доля ответов с корректной ссылкой на источник; доля эскалаций на человека. Часть проверок автоматическая (регулярки, наличие ссылки, соответствие схеме JSON), часть — выборочная разметка. Выборочная разметка 20–50 диалогов в неделю даёт больше, чем дашборд из пятидесяти графиков, — это оценка, но на практике она подтверждается.

Стоимость. Токены и деньги на сессию, распределение по типам запросов, доля сессий, вылезающих за бюджет. Стоит держать отдельную метрику «дорогие сессии» — те, что превышают, скажем, трёхкратную медиану. Обычно именно там сидят баги с циклами и раздутым контекстом.

Error budget. Договоритесь, какая доля сессий может быть неуспешной за период. Дальше алерты строятся не на «стало плохо», а на «бюджет выгорает быстрее плана». Это снимает главную болезнь алертинга в AI-системах — шум от естественной вариативности модели.

HITL: где именно ставится человек

Human-in-the-loop — не «кнопка одобрения на всё». Если человек подтверждает каждый шаг, агент не даёт экономии, и весь проект теряет смысл. HITL ставится точечно, по риск-зонам из контракта сессии.

Рабочая схема — три уровня:

  • Автоматически, без человека. Чтение, поиск, черновики, внутренние теги. Логируется, но не блокируется.
  • Человек подтверждает действие. Всё, что имеет внешний side-effect: письмо клиенту, изменение заказа, возврат. Подтверждение встраивается в интерфейс оператора, а не в отдельную почту.
  • Человек разбирает постфактум. Спорные ответы, жалобы, сработавшие guardrails — попадают в очередь на разбор с готовым трейсом.

Ключевое требование к HITL: решение человека должно возвращаться в систему как размеченный пример. Иначе вы платите за ручную проверку и ничего не узнаёте о качестве. Минимально — сохранять, что именно поправил оператор: переписал ответ, отклонил действие, эскалировал.

Второе требование — таймаут. Если подтверждение не пришло за N минут, действие не выполняется, а сессия закрывается с понятным статусом. Молчаливое зависание в очереди на подтверждение — худший из вариантов.

SLA и алерты: что и когда будит людей

SLA для агента формулируется в терминах бизнеса, а не инфраструктуры. Примеры формулировок, которые проходят:

  • доля успешных сессий не ниже целевой за сутки;
  • p95 времени ответа в рабочие часы;
  • ни одного несанкционированного side-effect (целевое значение — ноль, любое срабатывание — инцидент);
  • стоимость на сессию не выше порога;
  • время реакции человека на эскалацию.

Алерты делятся на два класса. Симптомные — горят на бизнес-метриках: упала доля успешных сессий, выросла стоимость, сработал запрещённый side-effect. Причинные — помогают диагностировать: ошибки конкретного инструмента, рост доли таймаутов модели, деградация retrieval. Первые бьют в дежурного, вторые — в дашборд и в чат команды. Смешивать их — значит будить людей из-за шума.

Отдельно — алерт на «тишину». Если агент перестал получать запросы или перестал вызывать инструменты, это часто признак сломанной интеграции, а не отсутствия спроса.

Как это выглядит по срокам и деньгам

Каркас observability закладывается вместе с пилотом, а не после. На прототипе одного сценария (10–14 дней) реально успеть: определить контракт сессии, ввести session_id/trace_id, настроить структурные логи tool-calling и один-два алерта по error budget. Пилот одного сценария — 60–350 тыс ₽ в зависимости от числа интеграций и глубины проверок.

Полный контур (30–90 дней) добавляет eval-петлю, HITL-очередь с возвратом разметки, дашборды качества и стоимости, разделение симптомных и причинных алертов. Ориентиры: базовый агент поддержки — от 50 тыс ₽, агент продаж — от 200 тыс ₽, сложный контур — от 500 тыс ₽. Сопровождение — 15–50 тыс ₽/мес, и в него observability входит по умолчанию, потому что без него сопровождение превращается в реакцию на жалобы.

Если коротко

  • Начинайте не с APM, а с контракта: успешная сессия, допустимые side-effects, кто дежурит, за сколько минут реагирует.
  • В логах обязательны session_id/trace_id, tool_name и статус, токены и стоимость, model_id и prompt_version, флаги guardrails.
  • Полные тексты промптов — в отдельное хранилище с ограниченным сроком, в операционных логах только хэши и ссылки.
  • Трейс — дерево от сессии до вызова инструмента; trace_id должен проходить сквозь очередь и воркеры.
  • Метрики качества и стоимости — на том же экране, что latency и ошибки; алерты — по выгоранию error budget, а не по «стало плохо».
  • HITL — только на риск-зонах, с таймаутом и обязательным возвратом решения человека в разметку.
  • Алерты делятся на симптомные (будят) и причинные (диагностируют). Плюс алерт на тишину.

FAQ

Нужен ли отдельный APM-инструмент или хватит того, что уже есть? На старте часто хватает существующего стека: структурные логи, трассировка и дашборды. Специализированные LLM-платформы observability дают готовые вью по токенам и промптам, но не заменяют контракт сессии. Сначала контракт и поля, потом выбор инструмента.

Сколько стоит хранение логов с промптами? Зависит от объёма трафика и срока хранения — универсальной цифры нет. Практика: операционные логи с хэшами хранить 30–90 дней, полные тексты — ограниченный срок и с ограниченным доступом. Считать нужно по своему объёму, а не по чужому бенчмарку.

Можно ли обойтись без eval-сигнала, если есть выборочная проверка операторами? Можно на малом трафике. Как только сессий становятся сотни в день, ручная выборка перестаёт покрывать и перестаёт замечать деградации. Автоматические проверки по формальным критериям (ссылка на источник, схема ответа, отсутствие запрещённых действий) стоят дешевле и ловят регрессии быстрее.

Что делать, если модель отвечает по-разному на один и тот же запрос? Это норма, а не баг. Поэтому успешность определяется по критериям результата, а не по совпадению текста. Для воспроизводимости фиксируйте model_id и prompt_version и оценивайте распределение, а не отдельный ответ.

Когда закладывать observability, если бюджет пилота ограничен? Сразу. Минимальный набор — ID сессии и трейса, структурные логи вызовов инструментов, стоимость на сессию и один алерт по доле неуспешных сессий — стоит недорого и делается в рамках прототипа за 10–14 дней. Добавлять это после запуска дороже: придётся переразмечать историю, которой уже нет.

Читайте также

Заявка

Обсудить задачу

Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.

Раисыч

Основатель Студии Раисыча. Проектирую ИИ-контуры для продаж, поддержки и документов — с критериями приёмки и журналом.

Написать в Telegram →
Обсудить задачу