Quindici giorni di lavoro, circa 1.200 dollari di GPU in affitto e un modello da 4 miliardi di parametri: ImaJev-4b è entrato nelle leaderboard con un primo posto su JevBench (67,37 contro 63,29 di Jev 1.13.0) e un terzo posto su DecisionBench, davanti a GPT-5.6 Luna e DeepSeek V4.1. La notizia non è il punteggio in sé, ma cosa dice sulla possibilità di portare decisioni aziendali complesse su modelli compatti eseguibili in locale.
Il creatore parte da un'esperienza concreta: come consulente di processo per aziende Fortune 500, ha visto nodi decisionali su resi, rimborsi e supporto clienti restare affidati a persone perché il codice fatica a gestire l'ambiguità. L'arrivo di Jev ha reso evidente il caso d'uso, ma senza supporto per le immagini. Da qui la scommessa di ImaJev: un unico modello per testo e foto, con risposte a domande chiuse e una probabilità per ciascuna opzione.
Il percorso non è stato lineare. Un primo fine-tuning su circa 500mila decisioni brevi ha peggiorato un modello da 9 miliardi di parametri: su JevBench hard il punteggio è sceso da 64,9 a 42,3, segno di pattern matching più che di ragionamento. Il recupero è arrivato solo dopo settimane di generazione di domande difficili con modelli open-weight e la conservazione dei soli casi in cui due modelli concordavano. Questo dettaglio è forse il più importante: la qualità del dataset ha ribaltato l'esito, non la scala del modello.
Tecnicamente ImaJev-4b usa LoRA e un piccolo decision head su Qwen3.5-4B. In input accetta testo o un record JSON, fino a due foto e domande chiuse. In un solo forward pass restituisce probabilità per ogni opzione più una classe 'unknown'. Gira su Mac con MLX o su una singola GPU, con pesi distribuiti in Apache-2.0.
Qui entra l'analisi che i benchmark non raccontano. Il primo posto su JevBench nasce da una metrica che pesa allo stesso modo accuratezza, calibrazione, velocità e costo. Sulla sola accuratezza ImaJev-4b è terzo. Il suo punto di forza è un altro: quando assegna una probabilità del 90% tende ad avere ragione, e in caso di dubbio dichiara 'can't tell' invece di indovinare. In un processo aziendale questo cambia l'economia della decisione: un'astensione calibrata può mandare il caso a revisione umana, evitando errori costosi e riducendo il carico.
La posta in gioco per il deployment on-premise è strutturale. Un modello specializzato da 4B con LoRA, eseguibile su una singola GPU o su un Mac, consente di mantenere i dati transazionali e le foto all'interno del perimetro aziendale, con latenza e costi contenuti. Non serve una flotta di acceleratori cloud: servono dati curati, domande chiuse e una chiara politica di astensione. Questo sposta l'attenzione dal parametro 'modello più grande' alla qualità del training set e alla calibrazione delle probabilità.
Certo, i limiti sono espliciti: il modello lavora su domande chiuse, accetta al massimo due immagini e non promette ragionamento aperto. Le leaderboard, inoltre, possono premiare metriche composite che non equivalgono a valore produttivo. Ma per chi gestisce processi decisionali ripetitivi, il segnale è preciso: i modelli compatti open-weight con fine-tuning mirato possono presidiare decisioni circoscritte, lasciando ai sistemi più generalisti i compiti aperti. Chi valuta deployment on-premise di simili flussi può trovare su AI-RADAR framework analitici in /llm-onpremise per confrontare i trade-off, senza scorciatoie.
Il dato finale resta il più interessante: dopo il fallimento del primo tentativo, il salto di qualità non è arrivato da più parametri, ma da un dataset filtrato per accordo tra modelli. È un promemoria per chi costruisce pipeline decisionali: nel fine-tuning, il disaccordo è rumore, il consenso è supervisione.
💬 Commenti (0)
🔒 Accedi o registrati per commentare gli articoli.
Nessun commento ancora. Sii il primo a commentare!