Osservatorio sull'ecosistema Jev (6): valutare la qualità del codice misurando i numeri reali, non le promesse

Il post precedente ha trattato i confini di fiducia delle primitive decisionali. Questo post approfondisce una delle promesse più diffuse dell'ecosistema: la valutazione della qualità del codice. «Usa Jev per revisionare il codice», «assegna un punteggio alle PR», «verifica se i test sono adeguati»: nelle 72 ore successive al rilascio sono nati decine di progetti di questo tipo, ma solo pochi hanno condotto esperimenti controllati e pubblicato costi e limiti di accuratezza. Questo articolo cita solo progetti con metriche pubblicate ed esclude le affermazioni aneddotiche.

Perché la qualità del codice è un terreno naturale per Jev

Le caratteristiche della code review si sposano con quelle delle primitive decisionali: giudizi mirati (il codice rispetta uno standard specifico?), alta frequenza (serve a ogni commit) e output ramificabili (passa/non passa/da modificare). Le review tradizionali con LLM richiedono decine di secondi di inferenza e non trovano posto nelle pipeline CI/CD; con la latenza inferiore al secondo di Jev, valutare ogni commit diventa per la prima volta economicamente sostenibile.

Tuttavia, essere adatto per natura non significa essere automaticamente corretto. Le valutazioni indipendenti nell'ecosistema quantificano alcuni limiti chiave.

agentjournal: cinque risultati con 1,43 $

La valutazione di agentjournal offre solidi esperimenti controllati risalenti alla prima settimana: tre task di classificazione, 5.477 righe di test e un costo totale di 1,43 $. Tre dei cinque risultati riguardano direttamente gli scenari di qualità del codice:

Primo, suddividere in dimensioni non migliora sempre i risultati. Su task semplici (200 risposte B2B piene di trabocchetti), la domanda diretta raggiunge il 100% di accuratezza, mentre la suddivisione in 12 dimensioni la fa scendere al 98%: più token spesi per risultati peggiori. Cosa significa per la code review: se i criteri sono chiari, una valutazione separata su più dimensioni non serve.

Secondo, le opzioni troppo ampie portano al fallimento. Su dati contabili, una singola chiamata a Choice con 12 opzioni ha raggiunto un'accuratezza del 39,98%. Cosa significa per la classificazione delle PR: evita di chiedere al modello di scegliere tra decine di categorie e scomponile in domande binarie sì/no.

Terzo, la confidenza si sgancia dalla correttezza. Sulle righe in cui il modello indicava un'alta confidenza (≥0,9), l'accuratezza era solo del 72,2%. Cosa significa per i gate di CI: un'alta confidenza non basta come condizione per il superamento.

Supercov: ridurre le domande di review a controlli meccanici

Supercov è uno strumento in Rust che assegna un punteggio alla qualità del codice. Il suo autore ha raccontato su Reddit che passare file interi chiedendo «com'è la qualità?» dà risultati scarsi, mentre controlli meccanici mirati come duplicated_code e deep_nesting funzionano meglio. Il confronto con gli strumenti commerciali e il costo dichiarato 100 volte inferiore sono una valutazione dell'autore, non un benchmark indipendente.

La lezione principale è che la qualità delle valutazioni di Jev dipende dal porre domande sufficientemente specifiche.

Jev Review: la review per fasi

Jev Review (417★, rilevazione del 2026-09-21) suddivide la code review in più fasi, valutando in sequenza struttura, logica e stile, con set di domande Noul/Score diversi per ogni fase.

Casi d'uso adatti e non adatti

• Adatti: controlli meccanici nei gate di CI (duplicazione del codice, profondità di annidamento, convenzioni di naming); review delle PR per fasi; valutazioni binarie sulla sufficienza della copertura dei test.
• Non adatti: valutazioni architetturali complessive; audit approfonditi delle vulnerabilità di sicurezza; giudizi composti, come stabilire se il codice è pronto per la produzione.
• Workflow combinato: usa Jev per un primo screening rapido, poi LLM generalisti per l'analisi approfondita.

Integrazione con EveryInfra

La valutazione della qualità del codice riceve in input diff o contenuti dei file. Se prima della review devi recuperare il codice del repository di interesse, i commenti delle issue o i log della CI, EveryInfra supporta queste attività di acquisizione dei dati. Inizia dalla guida all'integrazione dell'API unificata per i dati.

Nella prossima puntata esaminiamo un altro grande scenario dell'ecosistema: il content scoring e il filtraggio delle informazioni.