Jevエコシステム観察（第7回）：スタートアップのアイデアからペルソナテストまで、コンテンツのスコアリングと情報フィルタリング

前回の記事では、コード品質の評価を取り上げました。今回は、エコシステムにおけるもう1つの主要なシナリオであるコンテンツのスコアリングと情報フィルタリングを扱います。対象は、スタートアップのアイデア採点からSNS投稿のバイラル予測、文単位で動画の信頼性を示すダッシュボードからペルソナシミュレーションまでです。これらのプロジェクトには共通のアーキテクチャがあります。Jevが非構造化コンテンツに対する構造化された判断を担い、コードがその判断に基づいてアクションを実行します。

指標で見る5つのプロジェクト

killmyidea：Redditで最も人気を集めたスタートアップアイデア採点ツール

killmyidea（Redditで209アップボート）は、スタートアップのアイデアを10項目のルーブリック（各0〜4点）で評価し（Score）、並列で採点したあとに加重合計スコアを算出します。作者は「一貫した直感チェックであり、神託ではない」と認めています。一方、Redditのユーザーは実際に使う中でその限界を見つけました。同じアイデアから「open source」という語を取り除くだけで、スコアが大きく変わるのです。これはバグではなく、判断プリミティブが入力の言い回しに敏感であることの表れです。

Every編集部：37本のドキュメントを対象にした1回限りのJevレビュー実験（1,709件の判断）

Everyの編集者Mike Taylorは、公開済みの37本のドキュメントを対象に1回限りのJevレビュー実験を行い、1,709件の判断を合計$0.01未満のコストで出力しました（作者による報告）。これはコーパスを使った実験であり、本番環境への継続的な組み込みを示すものではありません。

SuperX：61問のバイラル予測モデル

SuperX（@robj3d3）は、投稿の下書きに対してJevの61問を実行し、約1秒でスコアを生成します。1回あたりのコストは約$0.0004です。モデルは207人のクリエイターによる実際の投稿9,481件でフィッティングされており、エンゲージメント狙いの釣り投稿を避けつつ、3回に2回の割合でバイラルになる投稿を選べるとしています（作者による報告）。無料で、登録も不要です。

Crowdcheck：10,000人分の合成ペルソナ

Crowdcheckは、短い投稿を使って、継続的に保持される10,000人分の合成ペルソナが、その投稿を読む、いいねする、同意する、リポストする、フォローする、ブロックする確率をテストします。判断のバッチ処理とグループ単位の処理を用いています。判断プリミティブで集団の反応をシミュレートする代表的な実験です。

jevmeter：動画の文単位ナンセンス度ダッシュボード

jevmeter（2026-09-21時点のスナップショットで76★）は、任意の動画に対してリアルタイムの信頼性ダッシュボードを提供します。各文をScoreで採点し、編集可能な16:9のフレームに描画します。Xで出回っている「Realtime debate BS meter」デモのオープンソース実装です。

共通アーキテクチャ：知覚レイヤーとしてのJev

これらのプロジェクトに共通するアーキテクチャでは、コードがワークフローを管理し、Jevが判断を担います。

• killmyidea：コードがアイデアを収集 -> Jevが10項目のルーブリックで採点 -> コードが加重合計スコアを算出
• SuperX：コードが下書きを前処理 -> Jevが61問に回答 -> コードがバイラル予測を集計
• Every：編集者が記事を提出 -> Jevが編集基準に照らして評価 -> 修正のため結果を著者にフィードバック

Jevが良いコンテンツを決めるわけではありません。ルーブリックを定義するのは人間です。Jevの機能は、人間が定義した基準に従って、大量の非構造化コンテンツを速く、一貫して、低コストで評価できる点にあります。

推奨されるユースケース

• 推奨：大量のコンテンツの一次フィルタリング（人間がレビューすべき投稿の特定）、一貫した基準による継続的なスコアリング（ブランドモニタリングや感情の分類）、A/Bテスト評価の自動化（成果の高いバージョンの特定）。
• 非推奨：深い文脈理解が必要なコンテンツモデレーション（皮肉、文化的な配慮）と、公開の最終判断（Jevは参考情報であり、編集者ではありません）。
• 限界の把握：killmyideaがプロンプトの言い回しに敏感であることは、入力のわずかな違いで出力が大きく変わりうることを示しています。本番環境で使う場合は、入力形式を固定し、感度テストを行う必要があります。

EveryInfraとの連携

コンテンツスコアリングの入力は、評価対象となる投稿、コメント、レビュー、商品説明です。これらの素材をまずまとめて収集する必要がある場合は、EveryInfraが構造化された入力データを提供できます。統合データAPI連携ガイドから始めてください。