Jev против LLM на реальных лидах: 257 компаний, 0,6 секунды и $0,05 за 1000 решений
Jev — это не «быстрый LLM», а модель решений: на вход состояние и типизированные вопросы, на выход значения с вероятностями. На 257 лидах из 2ГИС он…
Jev — это не «быстрый LLM», а модель решений: на вход состояние и типизированные вопросы, на выход значения с вероятностями. На 257 лидах из 2ГИС он оказался в 20 раз быстрее и в 72–83 раза дешевле фронтир-модели, но слепой судья выбрал решения LLM в 20:6 и 22:3. Ниже — что именно мы замеряли, где Jev выигрывает по-настоящему, а где его вероятности без калибровки бесполезны. 15 сентября 2026 года TypeSafe AI (основатель — Диогу Алмейда, один из авторов RLHF в OpenAI) выпустила Jev. Модель не пишет текст вообще: она принимает состояние (набор типизированных полей) и список вопросов с типами ответов, а возвращает значения и вероятности по каждому. Для предпринимателя это означает смену вопроса: не «какая модель умнее», а «какую часть контура поддержки и продаж можно перевести на модель решений, а какую оставить генеративной».
Что мы замеряли
Выборка — 257 реальных лидов из 2ГИС: карточки компаний, контакты, категории, признаки активности. Задача — типовой набор решений входящей обработки: квалифицировать лид, определить приоритет, выбрать следующий шаг (перезвонить, отправить письмо, отложить, отклонить), заполнить поля карточки.
Сравнивали две конфигурации на одном и том же входе:
- Jev — типизированные вопросы к состоянию лида, на выходе значения и вероятности.
- Фронтир-LLM — промпт с тем же состоянием и теми же вопросами, ответ в свободной форме с последующим разбором.
Замеряли три вещи: задержку на одно решение, стоимость 1000 решений и качество решений по слепой оценке. Слепой судья — отдельная модель, которой показывали пары ответов без указания, какой моделью они получены.
Результаты:
| Метрика | Jev | Фронтир-LLM |
|---|---|---|
| Задержка на решение | ~0,6 с | ~в 20 раз больше |
| Стоимость 1000 решений | $0,05 | в 72–83 раза дороже |
| Слепое предпочтение судьи | 6 из 26 и 3 из 25 в двух прогонах | 20 из 26 и 22 из 25 |
Цифры по задержке и цене — из замера, они воспроизводимы на этом наборе. Цифры по качеству — оценка одной модели-судьи, и к ней надо относиться как к оценке, а не как к истине.
Почему слепой судья выбрал LLM
Причина не в том, что Jev «глупее». Причина в том, что судья оценивал ответы как текст. LLM даёт развёрнутое обоснование: «лид относится к категории B, потому что в карточке указан телефон, категория и свежая активность, рекомендую перезвонить в течение часа». Jev возвращает priority: high (0.81), next_step: call (0.74). Человеку и модели-судье такой ответ кажется беднее, хотя для автоматизации он удобнее: его не надо парсить, он не галлюцинирует формат и его вероятности можно сравнивать с порогом.
Отсюда практический вывод: слепое сравнение «качество ответа» систематически смещено в пользу генеративных моделей. Если вы выбираете модель по тому, как красиво она объясняет решение, вы выбираете объяснение, а не решение.
Где Jev выигрывает по-настоящему
Выигрыш не в «умнее», а в трёх инженерных свойствах.
Предсказуемый формат. Ответ приходит в типизированном виде. Не нужно писать парсер, не нужно ловить случаи, когда модель добавила вступление или поменяла названия полей. Для контура, где решение принимается сотнями в час, это снимает целый класс ошибок.
Скорость и цена на объёме. 0,6 секунды и $0,05 за 1000 решений меняют экономику сценария. Обработка входящего потока лидов, где на каждый лид приходится 5–10 решений (квалификация, приоритет, маршрут, поля карточки), на фронтир-модели стоит заметно дороже, чем на модели решений. При потоке в тысячи лидов в месяц разница в 72–83 раза — это уже не «оптимизация», а разница между «внедряем» и «не окупается».
Детерминированность входа. Состояние описано типизированно, поэтому поведение модели проще тестировать: вы фиксируете состояние и проверяете выход. С промптом то же самое сделать можно, но результат сильнее плывёт от формулировок.
Где вероятности без калибровки бесполезны
Главное ограничение Jev — вероятности не откалиброваны под ваш домен. Модель уверена на 0,81, но это не значит, что в 81 случае из 100 решение верное именно на ваших лидах. Пока вы не проверили это на своей выборке, пороги (если p > 0,8 — автоматически, иначе — на человека) ставить нельзя.
Что делать до внедрения:
- Собрать размеченную выборку — минимум 200–300 реальных лидов с эталонными решениями. Меньше — оценка будет шумной.
- Прогнать Jev и построить калибровочную кривую: для каждого интервала вероятности посчитать долю верных решений. Если при p ≈ 0,8 доля верных 0,6 — порог надо поднимать.
- Задать зону отказа. Решения с вероятностью ниже порога уходят человеку. Это не потеря, а страховка: автоматизация с явной зоной отказа дешевле ошибки без неё.
- Перепроверять калибровку при смене потока. Сезонность, новые категории лидов, изменение источника — всё это сдвигает распределение, и старые пороги перестают работать.
Отдельно: слепой судья предпочёл LLM в 20:6 и 22:3 — это сигнал, что на сложных, неоднозначных лидах, где нужен контекст и рассуждение, модель решений проигрывает. Такие лиды не надо насильно автоматизировать.
Как это выглядит в контуре
Рабочая схема — гибрид, а не замена одного другим.
- Jev на массовых типовых решениях: квалификация, приоритет, маршрут, заполнение полей. Дёшево, быстро, формат предсказуем.
- LLM на сложных и неоднозначных случаях: разбор нестандартного запроса, генерация письма, объяснение решения человеку.
- Человек на зоне отказа: всё, что ниже порога вероятности, и все новые категории, которых не было в выборке.
По нашим ориентирам студии пилот одного сценария — 60–350 тыс ₽, прототип собирается за 10–14 дней. Базовый агент поддержки — от 50 тыс ₽, агент продаж — от 200 тыс ₽, сложный контур — от 500 тыс ₽, сопровождение — 15–50 тыс ₽ в месяц. Полный контур — 30–90 дней. Начинать имеет смысл с одного сценария и калибровки на ваших лидах, а не с покупки «самой умной модели».
Если коротко
- Jev — модель решений, не генеративная модель: на вход типизированное состояние и вопросы, на выход значения с вероятностями.
- На 257 лидах из 2ГИС: ~0,6 с на решение, $0,05 за 1000 решений, в 20 раз быстрее и в 72–83 раза дешевле фронтир-LLM.
- Слепой судья предпочёл LLM в 20:6 и 22:3 — но он оценивал текст, а не пригодность к автоматизации.
- Сильные стороны Jev — формат, скорость, цена на объёме. Слабое место — некалиброванные вероятности.
- До внедрения: выборка 200–300 лидов, калибровочная кривая, порог и зона отказа для человека.
- Рабочая схема — гибрид: Jev на массовых решениях, LLM на сложных, человек на зоне отказа.
FAQ
Jev заменяет LLM? Нет. Он закрывает другой класс задач — типовые решения по типизированному состоянию. Там, где нужен развёрнутый разбор или генерация текста, LLM остаётся.
Можно ли ставить порог вероятности сразу? Нет. Сначала калибровка на вашей выборке: без неё вероятность 0,8 может означать долю верных решений 0,6.
Сколько лидов нужно для проверки? Ориентир — 200–300 размеченных примеров. Меньше — оценка будет шумной и пороги придётся пересматривать после запуска.
Почему судья выбрал LLM, если Jev дешевле и быстрее? Судья оценивал качество текстового ответа. Jev возвращает короткий типизированный ответ — для автоматизации это плюс, для оценки «как текст» — минус.
С чего начать внедрение? С одного сценария: собрать выборку, прогнать обе модели, построить калибровку, задать порог и зону отказа. Пилот одного сценария — 60–350 тыс ₽, прототип — 10–14 дней.
Читайте также
- Модель решений vs LLM: тест 2ГИС 2026 — что выбрать бизнесу
- PII-редакция и секьюрити-гейт перед LLM: allowlist, лог, блокировка при утечке к 2026 году
- GEO для B2B-компаний: как корпоративным сайтам попасть в AI-поиск в 2026
Обсудить задачу
Расскажите, что нужно автоматизировать. Александр Раисович ответит лично и предложит архитектуру решения.