Jevエコシステム観察（第6回）：コード品質評価、主張ではなく実際の数値を測る

前回の記事では判断プリミティブの信頼の境界を取り上げました。今回は、エコシステムで最も大きな主張の一つであるコード品質評価を掘り下げます。「Jevでコードをレビューする」「PRをスコアリングする」「テストの十分性を判定する」といったプロジェクトはリリースから72時間以内に数十件登場しましたが、対照実験を行い、コストの数値と精度の境界を公開したものはごく一部です。本記事では、指標が公開されているプロジェクトのみを参照し、逸話的な主張は除外しています。

コード品質評価とJevの相性がよい理由

コードレビューの特性は判断プリミティブと合致します。狭い判断（コードが特定の基準を満たしているか）、高頻度（コミットごとに必要）、分岐型の出力（合格／不合格／要修正）です。従来のLLMレビューは推論に数十秒を要するため、CI/CDパイプラインには組み込めません。Jevのレイテンシは1秒未満であり、すべてのコミットを評価することが初めてコスト面で現実的になりました。

ただし、相性がよいからといって、自動的に正しい結果が得られるわけではありません。エコシステム内で行われた独立評価によって、重要な適用限界がいくつか定量的に示されています。

agentjournal：$1.43から得られた5つの知見

agentjournalの評価は、最初の週から信頼できる対照実験を示しています。3つの分類タスク、5,477件のテストデータで、総コストは$1.43でした。5つの知見のうち3つは、コード品質のシナリオに直接関係します。

1つ目に、評価軸を分割しても結果が改善するとは限りません。単純なタスク（ひっかけを含むB2B回答200件）では、直接問い合わせた場合の精度は100%でしたが、12の評価軸に分割すると98%に低下しました。より多くのトークンを使ったにもかかわらず、結果は悪化しました。コードレビューへの示唆：基準が明確であれば、複数の評価軸に分けて評価する必要はありません。

第2に、選択肢が多すぎると失敗します。会計データでは、12の選択肢を持つChoiceの呼び出し1回で、正答率は39.98%でした。PR分類への示唆として、モデルに数十のカテゴリから選ばせるのは避け、はい／いいえで答える二値の質問に分解してください。

3つ目に、確信度と正しさは連動しません。モデルが高い確信度（≥0.9）を報告した行でも、精度は72.2%にとどまりました。CIゲーティングへの示唆：高い確信度を合格の十分条件として扱うことはできません。

Supercov：レビューの問いを機械的チェックに絞り込む

SupercovはRust製のコード品質スコアリングツールです。作者はRedditで、ファイル全体を渡して「品質はどうか」と尋ねると結果が悪く、duplicated_codeやdeep_nestingのような狭い機械的チェックのほうがうまく機能すると報告しています。商用ツールとの比較や、コストが100分の1になるという主張は作者自身の評価であり、独立したベンチマークではありません。

重要な教訓は、Jevによる評価の品質が、十分に具体的な問いを設定できるかどうかに左右されることです。

Jev Review：段階的レビュー

Jev Review（2026-09-21時点のスナップショットで417★）は、コードレビューを複数のフェーズに分割し、構造、ロジック、スタイルを順に評価します。フェーズごとに異なるNoul/Scoreの質問セットを使用します。

適した用途と適さない用途

• 適している用途：CIゲートでの機械的チェック（コードの重複、ネストの深さ、命名規則）、段階的なPRレビュー、テストカバレッジが十分かどうかの二値判定。
• 適さない用途：アーキテクチャの包括的な評価、セキュリティ脆弱性の詳細な監査、コードが本番環境に投入できる状態かといった複合的な判断。
• 併用ワークフロー：Jevで迅速な一次スクリーニングを行い、その後、汎用LLMで詳細に分析します。

EveryInfraとの連携

コード品質評価では、コードの差分やファイルの内容を入力として受け取ります。レビューの前に対象リポジトリのコード、Issueのコメント、CIログを取得する必要がある場合は、そうしたデータ取り込みにEveryInfraを利用できます。まずは統合データAPI連携ガイドをご覧ください。

次回は、エコシステムのもう一つの主要なシナリオであるコンテンツスコアリングと情報フィルタリングを取り上げます。