Наблюдения за экосистемой Jev (7): оценка контента и фильтрация информации — от стартап-идей до тестирования на персонах

В предыдущей статье мы разобрали оценку качества кода. Здесь рассмотрим ещё один крупный сценарий экосистемы: оценку контента и фильтрацию информации. Оценка стартап-идей, прогноз виральности постов в соцсетях, дашборды достоверности видео на уровне предложений, симуляции персон: у всех этих проектов общая архитектура. Jev выносит структурированные суждения о неструктурированном контенте, а код выполняет действия на их основе.

Пять проектов с метриками

killmyidea: самый популярный на Reddit оценщик стартап-идей

killmyidea (209 апвоутов на Reddit) оценивает стартап-идеи по 10 критериям (от 0 до 4 баллов) через Score и после параллельной оценки вычисляет взвешенный итоговый балл. Автор называет его «способом последовательно сверяться с интуицией, а не оракулом», но пользователи Reddit на практике нашли его границы: если убрать из той же идеи слова «open source», оценка заметно меняется. Это не баг, а проявление чувствительности примитивов принятия решений к формулировкам входных данных.

Редакция Every: разовый эксперимент с ревью 37 документов с помощью Jev (1 709 суждений)

Редактор Every Майк Тейлор провёл разовый эксперимент: прогнал через Jev 37 опубликованных документов и получил 1 709 суждений при общих затратах менее $0,01 (по данным автора). Это был эксперимент на корпусе текстов, а не свидетельство постоянной интеграции в продакшене.

SuperX: модель виральности из 61 вопроса

SuperX (@robj3d3) прогоняет черновики постов через 61 вопрос Jev и выдаёт оценку примерно за 1 секунду при стоимости около $0,0004 за запуск. Модель обучена на 9 481 реальном посте от 207 авторов и, по заявлению создателя, отбирает вирусные посты в 2 случаях из 3, избегая приманок для вовлечения. Бесплатно и без регистрации.

Crowdcheck: 10 000 синтетических персон

Crowdcheck показывает 10 000 постоянным синтетическим персонам короткий пост и измеряет вероятности того, что они его прочитают, лайкнут, согласятся, сделают репост, подпишутся или заблокируют автора. Для этого используются пакетные суждения и обработка на уровне групп. Это заметный эксперимент по моделированию групповых реакций с помощью примитивов принятия решений.

jevmeter: дашборд чуши в видео на уровне предложений

jevmeter (76★ по состоянию на 21.09.2026) в реальном времени строит дашборд достоверности для любого видео: оценивает каждое предложение через Score и выводит результат в редактируемый кадр 16:9. Это открытая реализация демо «Realtime debate BS meter», которые расходились в X.

Общая архитектура: Jev как слой восприятия

Архитектура у этих проектов общая: код управляет процессом, а Jev выносит суждения:

• killmyidea: код собирает идеи -> Jev оценивает по 10 критериям -> код вычисляет взвешенную сумму
• SuperX: код предобрабатывает черновики -> Jev отвечает на 61 вопрос -> код агрегирует прогноз виральности
• Every: редакторы отправляют статьи -> Jev оценивает их по редакционным стандартам -> результаты возвращаются авторам на доработку

Jev не решает, какой контент хороший: критерии задают люди. Jev позволяет быстро, единообразно и недорого оценивать большие объёмы неструктурированного контента по стандартам, которые задали люди.

Рекомендуемые сценарии

• Рекомендуется: первичная фильтрация больших объёмов контента (поиск постов, которые стоит отдать на проверку человеку), постоянная оценка по единым стандартам (мониторинг бренда и распределение по тональности) и автоматическая оценка A/B-тестов (поиск более эффективных вариантов).
• Не рекомендуется: модерация контента, требующая глубокого понимания контекста (сарказм, культурные особенности), и окончательные решения о публикации (Jev даёт ориентир, но не заменяет редактора).
• Помните о границах: чувствительность killmyidea к формулировкам промпта показывает, что небольшие изменения на входе могут сильно менять результат. В продакшене нужно зафиксировать формат входных данных и провести тестирование чувствительности.

Интеграция с EveryInfra

На вход оценке контента подаются посты, комментарии, отзывы или описания товаров. Если этот материал сначала нужно собрать пакетно, EveryInfra предоставит структурированные входные данные. Начните с руководства по интеграции единого API данных.