Как обучить AI-агента: данные и проверки

Коротко

«Обучить агента» в 2026 году — почти никогда не значит «дообучить модель». Речь о данных и правилах: что агент знает (база знаний), как действует (промпт и маршруты), где ошибается (логи и эталонная выборка) и как это исправляется. Модель меняют в последнюю очередь — сначала правится контекст.

Что на самом деле «учится»

1. База знаний — документы, FAQ, правила, прайсы. Агент не «помнит» их: он их находит и цитирует. База должна быть актуальной и с источниками.
2. Правила и маршруты — когда отвечать, когда уточнять, когда передавать человеку.
3. Примеры — 20–50 эталонных пар «вопрос → правильное действие»; на них настраивается стиль и формат.
4. Эталонная выборка (golden set) — 50–100 реальных кейсов с ожидаемым результатом; на ней меряется качество, а не на «впечатлениях».

Итерации: главный цикл

Логи пилота → разбор ошибок по категориям (нет данных, неверное правило, неверный инструмент, стиль) → правка базы/правил → повторный прогон golden set → выгрузка в прод.

Правило: не правьте больше одной категории ошибок за итерацию, иначе непонятно, что дало эффект.

Метрики качества

Чек-лист на 30 дней

1. Соберите базу знаний и определите владельца актуальности.
2. Напишите правила: что делать, что запрещено, что передать человеку.
3. Соберите golden set из реальных обращений.
4. Первый прогон: проверьте критичные ошибки и стиль.
5. Запустите на ограниченном потоке, разбирайте логи каждый день.
6. Через 30 дней — отчёт по метрикам и план расширения.

Ошибки, которые дороже всего

• «Обучать» на вчерашних данных: прайс изменился — агент отвечает старыми цифрами.
• Дать агенту все документы без разметки: он найдёт «соседний» фрагмент.
• Не завести golden set: нечем доказать, что стало лучше.
• Ослабить ограничения «чтобы работало»: растёт цена ошибки.

Что читать дальше

• Что такое AI-агент простыми словами
• Внедрение AI-агента: этапы, сроки и цифры
• 7 ошибок production AI-агентов и handoff человек↔агент
• Нужен аудит качества агента — напишите студии.

Можно ли дообучить модель на своих данных?

Можно, но это почти всегда лишний шаг: чаще быстрее и дешевле собрать базу знаний + RAG + примеры. Дообучение имеет смысл для узких форматов и стиля, а не для «знаний», которые меняются.

Сколько времени занимает обучение агента?

Практический ориентир: 1–2 недели на базу и правила, 2–4 недели на пилот с итерациями. Точный срок зависит от качества базы знаний и наличия golden set.