Observability AI-пайплайнов: логи, трейсы, HITL, SLA
Observability AI-пайплайна в production — это связка session/trace ID, структурированных логов tool-calling, метрик качества и cost, human-in-the-loop на…
Observability AI-пайплайна в production — это связка session/trace ID, структурированных логов tool-calling, метрик качества и cost, human-in-the-loop на риск-зонах и алертов по error budget; без этого «агент в проде» остаётся демо с красивым UI. Я не начинаю с выбора APM-бренда. Сначала фиксирую: что такое успешная сессия, какие side-effects допустимы, кого будить и за сколько минут. Ниже — рабочий каркас логов, трейсов, HITL и SLA, который я закладываю до масштабирования трафика. Классические три столпа (logs / metrics / traces) для LLM-агентов недостаточны без eval-сигнала и политики.
Разница принципиальная. Обычный сервис отвечает «200 OK» — и это почти всегда правда. Агент отвечает «200 OK» и при этом выдумал артикул, отправил письмо не тому адресату или потратил 40 тысяч токенов на один диалог. HTTP-код об этом не знает. Поэтому observability здесь — не про аптайм, а про то, можно ли доверять конкретной сессии и сколько она стоила.
Сначала контракт сессии, потом инструменты
До любого APM-вендора нужно письменно ответить на четыре вопроса. Это занимает полдня и экономит месяцы переделок.
- Что такое успешная сессия. Не «пользователь доволен», а проверяемый признак: заявка создана и получила номер, ответ содержит ссылку на источник из базы знаний, оператор не переоткрывал тикет в течение 24 часов. Один-два критерия, не десять.
- Какие side-effects допустимы. Список действий, которые агент может совершить без человека: прочитать заказ, сформировать черновик ответа, поставить тег. И список запрещённых: списание денег, изменение цены, отправка внешнего письма, удаление записи.
- Кого будить. Конкретные люди и чаты по типам инцидентов, а не «команда поддержки». Для ночных срабатываний — один дежурный, не группа.
- За сколько минут. Целевое время реакции на инцидент класса «агент пишет клиентам ерунду» — минуты, на «выросла стоимость сессии» — часы. Разница в порядках, и она должна быть зафиксирована.
Эти четыре пункта — фундамент. Всё остальное (какие поля в логах, какие дашборды, какие алерты) выводится из них механически.
Логи: структура важнее объёма
Лог LLM-пайплайна отличается от обычного тем, что в нём есть промпты, ответы модели и вызовы инструментов. Логировать всё подряд — быстро упереться в счёт за хранение и всё равно не найти нужную сессию. Минимальный набор полей на каждый шаг:
| Поле | Зачем |
|---|---|
session_id, trace_id, span_id |
связать диалог, шаг и вложенный вызов |
step_type |
llm_call, tool_call, retrieval, handoff |
tool_name, tool_args_hash, tool_status |
что вызвали, с чем, чем закончилось |
latency_ms, tokens_in, tokens_out, cost_rub |
стоимость и скорость на шаг |
model_id, prompt_version |
воспроизводимость: с какой версией промпта это случилось |
guardrail_flags |
сработавшие проверки: PII, запрещённая тема, лимит длины |
eval_score |
оценка качества шага или сессии, если считается |
Три правила, которые я закладываю сразу:
- Полные тексты промптов и ответов — в отдельное хранилище с ограниченным сроком. В операционных логах держим хэши и ссылки. Иначе персональные данные расползаются по всей инфраструктуре, и это уже не observability, а инцидент по 152-ФЗ.
prompt_version— обязательное поле. Без него невозможно ответить на вопрос «стало хуже после вчерашнего деплоя или после правки промпта».- Ошибки инструментов логируются как данные, а не как исключения. Агент, который три раза подряд не смог вызвать API склада, — это сигнал, а не шум в стектрейсах.
Трейсы: один диалог — одно дерево
Трейс для агента — это дерево, где корень — сессия пользователя, ветки — шаги, листья — вызовы модели и инструментов. Без такого дерева разбор инцидента превращается в археологию по временным меткам.
Что даёт корректный трейс на практике:
- видно, на каком именно шаге агент ушёл в цикл (классика — повторяющийся
tool_callс теми же аргументами); - видно, сколько шагов и токенов ушло до ответа, — это первые кандидаты в оптимизацию;
- видно, где вмешался человек, — точка HITL становится обычным спаном, а не отдельной таблицей в чужой системе.
Практическое требование: trace_id должен прокидываться сквозь все сервисы, включая очередь и воркеры. Если агент асинхронный, а это почти всегда так, — без сквозного ID трейс рвётся на входе в очередь, и половина работы теряется.
Метрики: качество и стоимость на одном экране
Технические метрики (latency, error rate, throughput) нужны, но их недостаточно. К ним добавляются три группы.
Качество. Здесь работает eval-сигнал: доля сессий, прошедших проверку по критериям из контракта; доля ответов с корректной ссылкой на источник; доля эскалаций на человека. Часть проверок автоматическая (регулярки, наличие ссылки, соответствие схеме JSON), часть — выборочная разметка. Выборочная разметка 20–50 диалогов в неделю даёт больше, чем дашборд из пятидесяти графиков, — это оценка, но на практике она подтверждается.
Стоимость. Токены и деньги на сессию, распределение по типам запросов, доля сессий, вылезающих за бюджет. Стоит держать отдельную метрику «дорогие сессии» — те, что превышают, скажем, трёхкратную медиану. Обычно именно там сидят баги с циклами и раздутым контекстом.
Error budget. Договоритесь, какая доля сессий может быть неуспешной за период. Дальше алерты строятся не на «стало плохо», а на «бюджет выгорает быстрее плана». Это снимает главную болезнь алертинга в AI-системах — шум от естественной вариативности модели.
HITL: где именно ставится человек
Human-in-the-loop — не «кнопка одобрения на всё». Если человек подтверждает каждый шаг, агент не даёт экономии, и весь проект теряет смысл. HITL ставится точечно, по риск-зонам из контракта сессии.
Рабочая схема — три уровня:
- Автоматически, без человека. Чтение, поиск, черновики, внутренние теги. Логируется, но не блокируется.
- Человек подтверждает действие. Всё, что имеет внешний side-effect: письмо клиенту, изменение заказа, возврат. Подтверждение встраивается в интерфейс оператора, а не в отдельную почту.
- Человек разбирает постфактум. Спорные ответы, жалобы, сработавшие guardrails — попадают в очередь на разбор с готовым трейсом.
Ключевое требование к HITL: решение человека должно возвращаться в систему как размеченный пример. Иначе вы платите за ручную проверку и ничего не узнаёте о качестве. Минимально — сохранять, что именно поправил оператор: переписал ответ, отклонил действие, эскалировал.
Второе требование — таймаут. Если подтверждение не пришло за N минут, действие не выполняется, а сессия закрывается с понятным статусом. Молчаливое зависание в очереди на подтверждение — худший из вариантов.
SLA и алерты: что и когда будит людей
SLA для агента формулируется в терминах бизнеса, а не инфраструктуры. Примеры формулировок, которые проходят:
- доля успешных сессий не ниже целевой за сутки;
- p95 времени ответа в рабочие часы;
- ни одного несанкционированного side-effect (целевое значение — ноль, любое срабатывание — инцидент);
- стоимость на сессию не выше порога;
- время реакции человека на эскалацию.
Алерты делятся на два класса. Симптомные — горят на бизнес-метриках: упала доля успешных сессий, выросла стоимость, сработал запрещённый side-effect. Причинные — помогают диагностировать: ошибки конкретного инструмента, рост доли таймаутов модели, деградация retrieval. Первые бьют в дежурного, вторые — в дашборд и в чат команды. Смешивать их — значит будить людей из-за шума.
Отдельно — алерт на «тишину». Если агент перестал получать запросы или перестал вызывать инструменты, это часто признак сломанной интеграции, а не отсутствия спроса.
Как это выглядит по срокам и деньгам
Каркас observability закладывается вместе с пилотом, а не после. На прототипе одного сценария (10–14 дней) реально успеть: определить контракт сессии, ввести session_id/trace_id, настроить структурные логи tool-calling и один-два алерта по error budget. Пилот одного сценария — 60–350 тыс ₽ в зависимости от числа интеграций и глубины проверок.
Полный контур (30–90 дней) добавляет eval-петлю, HITL-очередь с возвратом разметки, дашборды качества и стоимости, разделение симптомных и причинных алертов. Ориентиры: базовый агент поддержки — от 50 тыс ₽, агент продаж — от 200 тыс ₽, сложный контур — от 500 тыс ₽. Сопровождение — 15–50 тыс ₽/мес, и в него observability входит по умолчанию, потому что без него сопровождение превращается в реакцию на жалобы.
Если коротко
- Начинайте не с APM, а с контракта: успешная сессия, допустимые side-effects, кто дежурит, за сколько минут реагирует.
- В логах обязательны
session_id/trace_id,tool_nameи статус, токены и стоимость,model_idиprompt_version, флаги guardrails. - Полные тексты промптов — в отдельное хранилище с ограниченным сроком, в операционных логах только хэши и ссылки.
- Трейс — дерево от сессии до вызова инструмента;
trace_idдолжен проходить сквозь очередь и воркеры. - Метрики качества и стоимости — на том же экране, что latency и ошибки; алерты — по выгоранию error budget, а не по «стало плохо».
- HITL — только на риск-зонах, с таймаутом и обязательным возвратом решения человека в разметку.
- Алерты делятся на симптомные (будят) и причинные (диагностируют). Плюс алерт на тишину.
FAQ
Нужен ли отдельный APM-инструмент или хватит того, что уже есть? На старте часто хватает существующего стека: структурные логи, трассировка и дашборды. Специализированные LLM-платформы observability дают готовые вью по токенам и промптам, но не заменяют контракт сессии. Сначала контракт и поля, потом выбор инструмента.
Сколько стоит хранение логов с промптами? Зависит от объёма трафика и срока хранения — универсальной цифры нет. Практика: операционные логи с хэшами хранить 30–90 дней, полные тексты — ограниченный срок и с ограниченным доступом. Считать нужно по своему объёму, а не по чужому бенчмарку.
Можно ли обойтись без eval-сигнала, если есть выборочная проверка операторами? Можно на малом трафике. Как только сессий становятся сотни в день, ручная выборка перестаёт покрывать и перестаёт замечать деградации. Автоматические проверки по формальным критериям (ссылка на источник, схема ответа, отсутствие запрещённых действий) стоят дешевле и ловят регрессии быстрее.
Что делать, если модель отвечает по-разному на один и тот же запрос?
Это норма, а не баг. Поэтому успешность определяется по критериям результата, а не по совпадению текста. Для воспроизводимости фиксируйте model_id и prompt_version и оценивайте распределение, а не отдельный ответ.
Когда закладывать observability, если бюджет пилота ограничен? Сразу. Минимальный набор — ID сессии и трейса, структурные логи вызовов инструментов, стоимость на сессию и один алерт по доле неуспешных сессий — стоит недорого и делается в рамках прототипа за 10–14 дней. Добавлять это после запуска дороже: придётся переразмечать историю, которой уже нет.
Читайте также
- Observability для AI-агентов: логи, трейсы, HITL, SLA — что настроить в 2026
- Observability ИИ-агентов: eval, логи и red team за 14 дней
- AI-агенты в 2026: инструменты, память, HITL и запуск — этапы, цифры и сроки
Обсудить задачу
Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.