Non serve generare una frase per decidere se un paziente va ricoverato. MedJev, un modello System One aperto, risponde a domande cliniche strutturate con un singolo passaggio, senza produrre testo. I numeri presentati nel lavoro lo avvicinano a GPT-4 su alcuni benchmark: 72,5% su MedQA, 75,4% su USMLE e 80,1% su NEJM. Ma il risultato più interessante non sta nel punteggio grezzo.

MedJev gira localmente su un laptop. Questo cambia il ragionamento per chi distribuisce strumenti clinici: niente chiamate a un'API remota, niente spostamento di cartelle verso cloud, una pipeline di inference più leggera. Nei task di conoscenza medica, la calibrazione è buona: l'expected calibration error va da 0,028 a 0,063. Sui compiti a livello paziente, invece, il framework è più articolato. Per la mortalità intraospedaliera, il modello raggiunge un AUROC di 0,926 e supera XGBoost fermo a 0,902. Sul triage in pronto soccorso, però, resta sotto un modello supervisionato: 0,745 contro 0,809. E la calibrazione peggiora in modo netto, con un ECE di 0,286.

Qui si inserisce l'aspetto strutturale del lavoro: una ricalibrazione leggera a due parametri, che usa solo 50-200 esempi etichettati locali, porta l'ECE a 0,007. Il punto non è solo tecnico. Indica che il problema clinico non è necessariamente il training del modello, ma il suo adattamento alla popolazione locale. Un ospedale può partire da un modello zero-shot e correggere le probabilità con un piccolo campione interno, senza ricorrere a fine-tuning pesanti o a infrastrutture di addestramento condivise.

Le implicazioni di secondo ordine sono concrete. Chi costruisce sistemi sanitari locali può ridurre la dipendenza da fornitori cloud e da pipeline di training centralizzate. Ma il nuovo collo di bottiglia diventa la qualità del set di calibrazione: 50-200 casi possono spostare la media, non correggere errori sistematici su sottogruppi rari o bias già presenti nel modello. Non è una soluzione gratuita, è uno spostamento del costo: dal calcolo all'etichettatura locale e alla governance dei dati.

C'è anche un segnale per il mercato. I benchmark di conoscenza medica premiano l'accuratezza, ma il lavoro mostra che i risultati a livello paziente richiedono metriche di calibrazione e prestazioni operative. Un modello che supera XGBoost sulla mortalità ma perde sul triage non è semplicemente "migliore" o "peggiore": è adatto a contesti diversi. E la calibrazione locale diventa parte del deployment, non un controllo successivo.

Per chi valuta deployment on-premise, esistono trade-off tra costo computazionale, controllo dei dati e qualità predittiva. AI-RADAR raccoglie framework analitici su /llm-onpremise per valutare questi aspetti senza ridurli a un singolo benchmark.