Jev против LLM на реальных лидах: 257 компаний, 0,6 секунды и $0,05 за 1000 решений

Jev — это не «быстрый LLM», а модель решений: на вход состояние и типизированные вопросы, на выход значения с вероятностями. На 257 лидах из 2ГИС он оказался в 20 раз быстрее и в 72–83 раза дешевле фронтир-модели, но слепой судья выбрал решения LLM в 20:6 и 22:3. Ниже — что именно мы замеряли, где Jev выигрывает по-настоящему, а где его вероятности без калибровки бесполезны.

Что такое Jev и почему вокруг него шум

15 сентября 2026 года TypeSafe AI (основатель — Диогу Алмейда, один из авторов RLHF в OpenAI) выпустила Jev. Модель не пишет текст вообще. Вместо этого она принимает state — текст или JSON с данными — и набор вопросов трёх типов:

• noul — да/нет с вероятностью от 0 до 1;
• choice — выбор одного варианта из вашего списка (до 255);
• score — оценка по заданной шкале.

Все вопросы про одно состояние считаются за один проход, параллельно. Отсюда заявленные скорости: 70–500 мс против секунд-минут у чат-моделей. Цена — $0,042 за миллион входных токенов, выход бесплатный, потому что выход — это число, а не текст. Название — от экономиста Джевонса: чем дешевле интеллект, тем больше задач его стоит применять.

Ключевое отличие от привычного подхода «LLM + просьба вернуть JSON»: Jev физически не может вернуть что-то вне заданных вариантов. Схема не ломается, парсинг не нужен. Именно поэтому вокруг модели возник ажиотаж — она закрывает рутинные решения, на которые раньше гоняли дорогую модель с регулярками.

Что и на чём мы тестировали

Мы взяли реальную задачу нашей студии: холодная B2B-рассылка по компаниям Екатеринбурга из 2ГИС. Для каждого лида нужно решить: писать ли ему письмо, насколько он перспективен и что именно предлагать.

Три движка на одних и тех же данных:

Движок	Что это
Jev (typesafe/jev-1.13)	модель решений, три вопроса в одном вызове
Grok-4.7	фронтир-модель, тот же вопрос, ответ в JSON
auto/best-fast	текущий продакшн-путь рассылки (роутится на deepseek-v4.1-flash)

Данные: вывод n8n-парсера 2ГИС — 257 маркетинговых компаний Екатеринбурга, и отдельно 69 лидов из целевых вертикалов (стоматологии, автосервисы, юристы, фитнес, бухгалтеры, медцентры).

Скорость, цена и надёжность формата

Метрика	Jev	Grok-4.7	Продакшн-путь
Валидных ответов	99,6–100%	100%	53,5%
Латентность, среднее	0,56–0,65 с	10–13 с	21 с
Латентность p95	0,68 с	28,3 с	52,6 с
Цена за один лид	$0,00005	$0,0038	—
Цена за 1000 лидов	$0,05	$3,85	—

Вся база кампании — 2136 лидов — через Jev стоит около $0,10. Через Grok-4.7 — $8,2. Разница в 80 раз не гипотеза, а факт из usage.cost реальных ответов.

Отдельная находка про продакшн-путь: текущая схема генерации писем вернула валидный структурированный ответ лишь в 53,5% случаев, часть запросов падала с ошибкой провайдера. То есть Jev здесь выигрывает не только в цене, но и в предсказуемости — у него нечему ломаться, потому что нет свободного текста.

Где Jev проигрывает

Мы не стали верить метрикам «на глаз» и прогнали слепую оценку: судья — другая модель (Claude Opus), порядок вариантов A/B рандомизирован, названия движков скрыты.

• На маркетинговых агентствах (257 лидов): Grok 20 : Jev 6, ничьих 4.
• На целевых вертикалах (69 лидов): Grok 22 : Jev 3.

Причины в вердиктах судьи конкретные и повторяющиеся:

1. Jev предлагает «сайт» тем, кто сам делает сайты. Веб-студиям и агентствам он выдавал оффер «разработка сайта» в 68–80% случаев.
2. Он не использует косвенные сигналы. Нет сайта, но есть Telegram-канал — значит, уместен бот для записи. Есть WhatsApp-ссылка — уместна автоматизация записи. Grok это видит, Jev в основном игнорирует.
3. Шкала вероятностей не работает как порог. 88% ответов noul попали в зону 0,4–0,6. При пороге 0,6 не прошёл ни один лид из 69, при 0,5 — только 10. Формально у нас есть число, практически — «модель не уверена» почти на всём потоке.

Почему вероятности Jev нужно калибровать

Отдельный эксперимент: одно и то же состояние, 60 лидов, четыре разных формулировки одного вопроса. Средняя вероятность вышла 0,35 / 0,39 / 0,43 / 0,56 в зависимости от текста вопроса. На вопросе «это скорее конкурент, чем клиент?» 40 из 60 лидов дали больше 0,5 — то есть смысл модель различает, но абсолютная шкала сдвигается от формулировки.

Это важный практический вывод: вероятность Jev нельзя переносить между формулировками. Порог, настроенный на одной формулировке вопроса, бессмыслен на другой. Нужны 50–100 размеченных примеров, на которых пороги строятся заново под каждую задачу — ровно та работа, которую обещают «пропустить» продающие лендинги вокруг моделей решений.

Что при этом работает хорошо: голова score. По оценке перспективности Jev разошёлся с Grok в среднем на 0,57 уровня из 5, а половину решений принял identical. Это уже пригодный сигнал для сортировки потока.

Как это встроить в n8n

Мы собрали рабочий воркфлоу и прогнали его headless: Manual Trigger → 2ГИС API → Code (сборка состояния) → HTTP Request (decisions API) → Code (пороги и сводка). 19 лидов, все узлы успешны, суммарная стоимость $0,0008 — около $0,00004 за лид.

Два подводных камня, на которые стоит заложить время:

• OpenRouter, через который доступен Jev, блокирует запросы с российских IP — ответ 403 Access denied by security policy. Рабочий путь — HTTP-прокси; в HTTP Request ноде n8n это Options → Proxy.
• Эндпоинт решений живёт отдельно от обычного API моделей — в списке /v1/models Jev не появится, искать его там бессмысленно. Запрос идёт на /api/alpha/decisions, поле instructions обязательно для каждого вопроса.

Калибровка: как Jev всё-таки становится полезным

Первая калибровка провалилась по нашей вине: в выборке не было ни одного лида, куда писать не надо, и precision выродилась в 1,0 автоматически. Пересобрали правильно — 95 целевых компаний плюс 50 конкурентов (агентства, веб-студии, IT-компании), разметка сильной моделью по явным правилам. Итого 145 размеченных пар.

Правило на ответах Jev	Точность	Полнота	F1
«писать ≥ 0,40»	0,83	0,87	0,85
«это конкурент» < 0,5	0,98	0,99	0,99
«конкурент < 0,5» и «писать ≥ 0,3»	0,99	0,96	0,98
«оценка ≥ 3»	0,77	0,45	0,56

Главный вывод калибровки: работает вопрос-дискриминатор, а не вопрос-оценка. Вероятность на вопрос «это конкурент, а не клиент?» имеет медиану 0,75 там, куда писать не нужно, и 0,05 на целевых лидах. Абстрактное «стоит ли писать» на тех же данных как порог бесполезно.

Отдельно про голову выбора: она не годится для подбора оффера — совпадение с разметкой 12%, «сайт» выставлен в 115 случаях из 145. Оценка перспективности тоже средняя: расхождение 1,22 уровня из 5. То есть типизированный ответ Jev стоит использовать как узкий фильтр на один хорошо сформулированный вопрос, а не как универсального оценщика.

Как это выглядит вживую на 19 компаниях из рубрики «маркетинговые исследования»: две ушли в рассылку, три — на ручную проверку, четырнадцать отсеяны как конкуренты (вероятность 0,56–0,91). Прогон всей базы в 2136 компаний стоит $0,11, тогда как разметка 145 лидов сильной моделью обошлась в $0,78.

Вердикт: когда Jev, а когда LLM

Модель решений окупается там, где нужен типизированный ответ на большом потоке и заранее известен набор вариантов: предфильтрация и сортировка заявок, маршрутизация «какой инструмент или сценарий выбрать», проверки по правилам, классификация и разметка. Здесь 80-кратная экономия и стабильный формат превращаются в реальные деньги и в отсутствие парсера-костыля.

Там, где нужно суждение с нюансами — «стоит ли писать именно этой компании и что ей предложить» — короткая модель решений пока проигрывает фронтир-модели. Рабочая схема на сегодня выглядит так: Jev фильтрует поток по одной сильной голове (score), а спорные случаи отдаются LLM, который решает окончательно и пишет текст письма.

Мы продолжим замеры на размеченной выборке лидов, чтобы получить калиброванные пороги и точные цифры экономии на реальной рассылке — не гипотезу, а измеримый результат.

Часто задаваемые вопросы

Jev заменяет LLM?
Нет. Он не генерирует текст и не даёт обоснований — только типизированное решение с вероятностью. Замена LLM там, где нужны слова, невозможна; Jev дополняет чат-модель на рутинных решениях.

Можно ли ставить Jev в прод сразу, без калибровки?
На нашем тесте — нет. 88% ответов легли в зону 0,4–0,6, и при пороге 0,6 не прошёл ни один лид. Нужны 50–100 размеченных примеров под каждую формулировку вопросов, иначе пороги не значат ничего.

Сколько стоит обработка базы в 2000 компаний?
Около $0,10 через Jev и $8,2 через фронтир-модель Grok-4.7 при той же постановке задачи. Замер по реальному расходу из ответов API.

Что делать с лидами, где Jev не уверен?
Отдавать LLM. Узкая зона 0,4–0,6 — это именно те случаи, где разница в качестве решений проявляется сильнее всего, а стоимость обращения к большой модели на небольшой доле потока остаётся копеечной.

Читайте также

• Cloud.ru AI Workflows против n8n и Make: сравнение для бизнеса
• Сравнение LLM-фреймворков для AI-агентов: LangGraph, CrewAI, AutoGen
• Кейс: 2ГИС, почта и CRM для сервисной компании за 60 дней

---

🚀 Хотите внедрить AI-автоматизацию в свой бизнес?
Раисыч поможет настроить AI-агентов, чат-ботов и системы лидогенерации под ключ.

Заказать консультацию — raisovich.ru

Чем Jev отличается от схемы LLM плюс JSON?

Jev физически не генерирует свободный текст: на выходе только noul, choice или score по заданной схеме, парсинг не нужен и формат не ломается.

Почему score-голова Jev полезнее noul без калибровки?

На тесте score по перспективности разошёлся с Grok в среднем на 0,57 уровня из 5, а сырые noul-вероятности в 88% случаев легли в зону 0,4–0,6 и не дали рабочего порога.

Как подключить Jev в n8n из РФ?

Через HTTP Request на /api/alpha/decisions с прокси в Options: прямые запросы с российских IP OpenRouter режет 403, а Jev не виден в обычном списке /v1/models.