Блог студии Раисыча AI-агенты · автоматизация
Обсудить задачу
ИИ-агенты для продаж 6 мин чтения 24 September 2026

Jev против LLM на реальных лидах: 257 компаний, 0,6 секунды и $0,05 за 1000 решений

Jev — это не «быстрый LLM», а модель решений: на вход состояние и типизированные вопросы, на выход значения с вероятностями. На 257 лидах из 2ГИС он…

Обсудить задачу Все статьи кластера
Jev против LLM на реальных лидах: 257 компаний, 0,6 секунды и $0,05 за 1000 решений

Jev — это не «быстрый LLM», а модель решений: на вход состояние и типизированные вопросы, на выход значения с вероятностями. На 257 лидах из 2ГИС он оказался в 20 раз быстрее и в 72–83 раза дешевле фронтир-модели, но слепой судья выбрал решения LLM в 20:6 и 22:3. Ниже — что именно мы замеряли, где Jev выигрывает по-настоящему, а где его вероятности без калибровки бесполезны. 15 сентября 2026 года TypeSafe AI (основатель — Диогу Алмейда, один из авторов RLHF в OpenAI) выпустила Jev. Модель не пишет текст вообще: она принимает состояние (набор типизированных полей) и список вопросов с типами ответов, а возвращает значения и вероятности по каждому. Для предпринимателя это означает смену вопроса: не «какая модель умнее», а «какую часть контура поддержки и продаж можно перевести на модель решений, а какую оставить генеративной».

Что мы замеряли

Выборка — 257 реальных лидов из 2ГИС: карточки компаний, контакты, категории, признаки активности. Задача — типовой набор решений входящей обработки: квалифицировать лид, определить приоритет, выбрать следующий шаг (перезвонить, отправить письмо, отложить, отклонить), заполнить поля карточки.

Сравнивали две конфигурации на одном и том же входе:

  • Jev — типизированные вопросы к состоянию лида, на выходе значения и вероятности.
  • Фронтир-LLM — промпт с тем же состоянием и теми же вопросами, ответ в свободной форме с последующим разбором.

Замеряли три вещи: задержку на одно решение, стоимость 1000 решений и качество решений по слепой оценке. Слепой судья — отдельная модель, которой показывали пары ответов без указания, какой моделью они получены.

Результаты:

Метрика Jev Фронтир-LLM
Задержка на решение ~0,6 с ~в 20 раз больше
Стоимость 1000 решений $0,05 в 72–83 раза дороже
Слепое предпочтение судьи 6 из 26 и 3 из 25 в двух прогонах 20 из 26 и 22 из 25

Цифры по задержке и цене — из замера, они воспроизводимы на этом наборе. Цифры по качеству — оценка одной модели-судьи, и к ней надо относиться как к оценке, а не как к истине.

Почему слепой судья выбрал LLM

Причина не в том, что Jev «глупее». Причина в том, что судья оценивал ответы как текст. LLM даёт развёрнутое обоснование: «лид относится к категории B, потому что в карточке указан телефон, категория и свежая активность, рекомендую перезвонить в течение часа». Jev возвращает priority: high (0.81), next_step: call (0.74). Человеку и модели-судье такой ответ кажется беднее, хотя для автоматизации он удобнее: его не надо парсить, он не галлюцинирует формат и его вероятности можно сравнивать с порогом.

Отсюда практический вывод: слепое сравнение «качество ответа» систематически смещено в пользу генеративных моделей. Если вы выбираете модель по тому, как красиво она объясняет решение, вы выбираете объяснение, а не решение.

Где Jev выигрывает по-настоящему

Выигрыш не в «умнее», а в трёх инженерных свойствах.

Предсказуемый формат. Ответ приходит в типизированном виде. Не нужно писать парсер, не нужно ловить случаи, когда модель добавила вступление или поменяла названия полей. Для контура, где решение принимается сотнями в час, это снимает целый класс ошибок.

Скорость и цена на объёме. 0,6 секунды и $0,05 за 1000 решений меняют экономику сценария. Обработка входящего потока лидов, где на каждый лид приходится 5–10 решений (квалификация, приоритет, маршрут, поля карточки), на фронтир-модели стоит заметно дороже, чем на модели решений. При потоке в тысячи лидов в месяц разница в 72–83 раза — это уже не «оптимизация», а разница между «внедряем» и «не окупается».

Детерминированность входа. Состояние описано типизированно, поэтому поведение модели проще тестировать: вы фиксируете состояние и проверяете выход. С промптом то же самое сделать можно, но результат сильнее плывёт от формулировок.

Где вероятности без калибровки бесполезны

Главное ограничение Jev — вероятности не откалиброваны под ваш домен. Модель уверена на 0,81, но это не значит, что в 81 случае из 100 решение верное именно на ваших лидах. Пока вы не проверили это на своей выборке, пороги (если p > 0,8 — автоматически, иначе — на человека) ставить нельзя.

Что делать до внедрения:

  1. Собрать размеченную выборку — минимум 200–300 реальных лидов с эталонными решениями. Меньше — оценка будет шумной.
  2. Прогнать Jev и построить калибровочную кривую: для каждого интервала вероятности посчитать долю верных решений. Если при p ≈ 0,8 доля верных 0,6 — порог надо поднимать.
  3. Задать зону отказа. Решения с вероятностью ниже порога уходят человеку. Это не потеря, а страховка: автоматизация с явной зоной отказа дешевле ошибки без неё.
  4. Перепроверять калибровку при смене потока. Сезонность, новые категории лидов, изменение источника — всё это сдвигает распределение, и старые пороги перестают работать.

Отдельно: слепой судья предпочёл LLM в 20:6 и 22:3 — это сигнал, что на сложных, неоднозначных лидах, где нужен контекст и рассуждение, модель решений проигрывает. Такие лиды не надо насильно автоматизировать.

Как это выглядит в контуре

Рабочая схема — гибрид, а не замена одного другим.

  • Jev на массовых типовых решениях: квалификация, приоритет, маршрут, заполнение полей. Дёшево, быстро, формат предсказуем.
  • LLM на сложных и неоднозначных случаях: разбор нестандартного запроса, генерация письма, объяснение решения человеку.
  • Человек на зоне отказа: всё, что ниже порога вероятности, и все новые категории, которых не было в выборке.

По нашим ориентирам студии пилот одного сценария — 60–350 тыс ₽, прототип собирается за 10–14 дней. Базовый агент поддержки — от 50 тыс ₽, агент продаж — от 200 тыс ₽, сложный контур — от 500 тыс ₽, сопровождение — 15–50 тыс ₽ в месяц. Полный контур — 30–90 дней. Начинать имеет смысл с одного сценария и калибровки на ваших лидах, а не с покупки «самой умной модели».

Если коротко

  • Jev — модель решений, не генеративная модель: на вход типизированное состояние и вопросы, на выход значения с вероятностями.
  • На 257 лидах из 2ГИС: ~0,6 с на решение, $0,05 за 1000 решений, в 20 раз быстрее и в 72–83 раза дешевле фронтир-LLM.
  • Слепой судья предпочёл LLM в 20:6 и 22:3 — но он оценивал текст, а не пригодность к автоматизации.
  • Сильные стороны Jev — формат, скорость, цена на объёме. Слабое место — некалиброванные вероятности.
  • До внедрения: выборка 200–300 лидов, калибровочная кривая, порог и зона отказа для человека.
  • Рабочая схема — гибрид: Jev на массовых решениях, LLM на сложных, человек на зоне отказа.

FAQ

Jev заменяет LLM? Нет. Он закрывает другой класс задач — типовые решения по типизированному состоянию. Там, где нужен развёрнутый разбор или генерация текста, LLM остаётся.

Можно ли ставить порог вероятности сразу? Нет. Сначала калибровка на вашей выборке: без неё вероятность 0,8 может означать долю верных решений 0,6.

Сколько лидов нужно для проверки? Ориентир — 200–300 размеченных примеров. Меньше — оценка будет шумной и пороги придётся пересматривать после запуска.

Почему судья выбрал LLM, если Jev дешевле и быстрее? Судья оценивал качество текстового ответа. Jev возвращает короткий типизированный ответ — для автоматизации это плюс, для оценки «как текст» — минус.

С чего начать внедрение? С одного сценария: собрать выборку, прогнать обе модели, построить калибровку, задать порог и зону отказа. Пилот одного сценария — 60–350 тыс ₽, прототип — 10–14 дней.

Читайте также

Заявка

Обсудить задачу

Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.

Раисыч

Основатель Студии Раисыча. Проектирую ИИ-контуры для продаж, поддержки и документов — с критериями приёмки и журналом.

Написать в Telegram →
Обсудить задачу