База знаний + RAG для AI-агента продаж: источники и метрики за 30 дней

RAG для AI-агента продаж работает, когда в индексе только утверждённые КП, FAQ и скрипты, каждое обновление проходит ревью, PII режется до ответа, а за 30 дней вы мерите долю верных ответов и эскалаций — а не «красивый чат».

Без жёсткой базы агент путает пакеты, обещает сроки «от себя» и сливает лиды. Ниже — контур, который я собираю на практике: источники, обновление, фильтр персональных данных и таблица метрик на первый месяц.

Что класть в индекс: только то, что можно цитировать клиенту

В RAG для продаж попадает не «весь Google Диск», а узкий набор документов с владельцем и датой актуальности.

Источник	Что индексируем	Что не индексируем	Владелец
КП / прайс	Актуальные пакеты, scope, исключения, SLA	Черновики, старые версии, «внутренние» скидки	Продажи / я
FAQ	Возражения, сроки, интеграции, гарантии	Личные переписки менеджеров	Продажи + поддержка
Скрипты	Квалификация, handoff-формулировки, стоп-фразы	Импровизации из созвонов без правки	РОП / я
Кейсы	Обезличенные цифры, отрасль, срок	Имена клиентов без NDA-разрешения	Маркетинг
Политики	Оферта, ПДн, ограничения каналов	Внутренние HR/финансы	Юрист / я

Правило одного индекса: одна сущность — один канонический фрагмент. Если в FAQ цена 45к, а в старом КП 40к — агент будет врать. Перед индексацией сверяю конфликтные поля вручную.

Чеклист перед первой загрузкой:

1. У каждого файла есть doc_id, version, valid_from, owner.
2. Вырезаны телефоны, email, ИНН, ФИО из примеров переписок.
3. Цены и сроки совпадают с публичной лестницей пакетов.
4. Есть «запрещённые темы» (скидки вне прайса, юр. обещания, гарантии результата).
5. Тестовый набор из 20–30 вопросов с эталонным ответом уже готов.

Обновление базы: без «залипшей» версии агент убивает доверие

RAG гниёт быстрее, чем FAQ на сайте. Я веду обновление как релиз, а не как «докинул PDF».

Событие	Действие	SLA
Сменился прайс / пакет	Новая версия → инвалидация старых чанков → smoke-тест 10 вопросов по цене	≤ 24 ч
Новый FAQ из эскалаций	Раз в неделю: топ-5 «не ответил» → черновик → approve → index	Еженедельно
Ошибочный ответ в бою	Hotfix-чанк + пометка supersedes + регресс-тест	≤ 4 ч в рабочее
Устарел кейс (>6 мес / нет цифр)	Снять с индекса или пометить archive	Ежемесячный audit
Сменился скрипт квалификации	Версия + diff + уведомление HITL-оператору	Вместе с релизом агента

Мини-процесс релиза базы:

1. Draft — правки в git/Notion с diff.
2. Approve — один владелец продаж ставит OK (не «коллективно»).
3. Index — пересборка эмбеддингов только изменённых документов.
4. Eval — прогон golden-set (верный ответ / отказ / эскалация).
5. Ship — переключение alias индекса prod.

Если eval падает ниже порога — не шипим. Лучше старый правильный прайс, чем новый с дырой в scope.

PII-фильтр: что режем до ответа и до логов

Агент продаж часто видит имя, телефон, компанию, переписку. Без фильтра вы получаете утечку в логи LLM-провайдера и в чанки «для обучения».

Что делаю обязательно:

Слой	Правило	Зачем
Вход (user → agent)	Маскирование телефона, email, карт, паспорта в промпт-контексте	Меньше PII у модели
Retrieval	В индекс не кладём сырые CRM-заметки с ФИО	База = публичные знания, не досье
Ответ	Запрет повторять полный телефон/email в цитатах	Не «светить» данные в канале
Логи	Redact + TTL; отдельные поля contact_id без plain text	Аудит без слива
HITL	Оператор видит полный контакт в CRM, модель — только id	Разделение ролей

Красные линии для агента (hard refuse → эскалация человеку):

• запрос паспортных/платёжных данных «для договора» в чате;
• просьба «пришлите базу клиентов / список сделок»;
• любой вывод, где модель пытается угадать персональные данные из обрывков.

PII-чеклист на 15 минут перед продом:

• regex/маски на телефон, email, ИНН в pre/post pipeline;
• в system prompt запрет на сохранение PII «в память» между диалогами;
• логи без body переписки в clear text (или с redact);
• NDA/оферта и политика обработки ПДн согласованы с каналом (TG/сайт/MAX);
• тест: в индекс и в ответ не попадает строка с реальным телефоном из CRM-дампа.

Метрики за 30 дней: «верный ответ» и «эскалация», а не NPS чата

Через 30 дней мне нужны не лайки, а управляемые доли.

Метрика	Как считаю	Цель 30 дней (ориентир MSP)	Стоп-сигнал
Верный ответ	HITL или эталон: факт/цена/scope совпали	≥ 85% по golden + выборочный audit 50 диалогов	< 70% две недели подряд
Отказ по делу	«Не знаю / вне scope» без выдумки	≥ 90% отказов корректны	Частые «уверенные» галлюцинации
Эскалация	Передача человеку по правилам	15–35% диалогов (зависит от канала)	> 50% без роста качества
Ложная эскалация	Можно было ответить из базы	≤ 20% от эскалаций	Растёт — дыра в FAQ/скриптах
Ценовая ошибка	Отдельный счётчик	0 критичных (неверная цена в КП-смысле)	Любая → hotfix
PII-инцидент	Утечка в лог/ответ/чанк	0	Любой → пауза канала
Time-to-answer	p50 / p95	p50 < 8 с (текст)	p95 > 30 с стабильно

Как собрать замер без бюрократии:

1. Golden-set 30 вопросов (цена, scope, интеграция, «не наш кейс», PII-провокация).
2. Ежедневный sample 10–20 боевых диалогов → тег: верно / частично / врёт / эскалировал верно / зря.
3. Раз в неделю: топ причин ошибок → правка чанка или правила эскалации.
4. Дашборд: % верных, % эскалаций, число ценовых ошибок, число PII-флагов.

Если «верный ответ» растёт, а эскалация падает слишком резко — проверяю, не начал ли агент уверенно врать вместо «не знаю».

Часто задаваемые вопросы

Чем RAG лучше длинного system prompt с FAQ?
Длинный промпт раздувает токены, плохо версионируется и не даёт точечно выкинуть устаревший абзац. RAG + versioned docs позволяет менять прайс за часы и прогонять eval только на затронутых вопросах.

Сколько документов достаточно на старте?
Обычно 15–40 канонических страниц: актуальный прайс/пакеты, 1 страница исключений, FAQ 20–40 Q&A, 2–3 скрипта, 3–5 обезличенных кейсов. Лучше 20 чистых, чем 200 сырых PDF.

Нужен ли vector DB «с нуля» или хватит FAQ-бота?
Если ответы стабильные и объём мал — структурированный FAQ + жёсткие шаблоны часто хватает. RAG включаю, когда появляются кейсы, сравнения пакетов и много пересекающихся формулировок, где keyword-поиск ломается.

Что делать с конфликтом «менеджер сказал скидку 20%»?
В индекс скидки ad hoc не кладу. Агент отвечает прайсом и эскалирует на человека. Иначе база знаний превращается в свалку устных обещаний.

Читайте также

• RAG vs FAQ: база знаний AI-агента в CRM
• AI-агент discovery: 12 вопросов, саммари в CRM и «готов к КП» за 21 день
• Оркестрация tool-calling AI-агента: SOP, лимиты и audit trail

Готовый контур базы знаний и RAG под AI-агента продаж — на raisovich.ru.

Как за 30 дней понять, что RAG для продаж готов к бою?

Смотрю долю верных ответов на golden-set (≥85%), ноль критичных ценовых ошибок и стабильный % корректных эскалаций — «красивый чат» без этих цифр не считается готовностью.

Что обязательно вырезать из индекса перед первой загрузкой?

Телефоны, email, ИНН, ФИО из примеров переписок, черновики КП и любые «устные» скидки вне утверждённого прайса — иначе агент цитирует мусор или светит PII.

Когда останавливать релиз новой версии базы знаний?

Если eval на golden-set падает ниже порога или в smoke-тесте по цене/scope есть ошибки — alias prod не переключаю, оставляю прошлую корректную версию.