La divergenza tra i risultati pubblicati da Unsloth e quelli del team ISTA non nasce da un intervento sui parametri, ma da un vincolo sul numero di token che il modello può generare. ISTA ha risposto in modo netto: nessun iperparametro modificato, impostazioni standard per un modello da 763B di parametri con context window da 1M. Nei test di ISTA il contesto è di 128K e il reasoning effort è 50. Unsloth, invece, usa un budget di 32K token per il reasoning. ISTA consente fino a 128K token in output. Questa differenza di calcolo spiega la variazione dei punteggi, non una presunta inferiorità del modello.

Un budget di 32K token costringe il modello a comprimere il ragionamento in poche migliaia di token, riducendo il numero di passaggi intermedi e la capacità di esplorare catene lunghe. Per un modello progettato per contesti da 1M, questo limite appare incoerente: se il punto è gestire documenti estesi o problemi complessi, il collo di bottiglia non dovrebbe trovarsi proprio nella quantità di ragionamento esprimibile. Allo stesso tempo, un output budget di 128K token non è un dettaglio neutro: ogni token generato occupa VRAM aggiuntiva per la cache di contesto e allunga il tempo di inference.

Il confronto coinvolge le versioni con quantization GSQ-RCO del DeepSeek-V4.1-Flash-1017. La quantization, in generale, riduce l'ingombro in memoria, ma non elimina il fatto che la finestra di output scelta nei benchmark incide sul costo computazionale e sulla latenza.

La vicenda segnala qualcosa di strutturale per chi valuta LLM self-hosted. I numeri pubblicati non sono fotografie assolute: sono il risultato di decisioni di test che implicano trade-off tra qualità, costi e hardware. Un confronto con budget di token ridotto può penalizzare un modello che, su un cluster con VRAM adeguata e vincoli produttivi differenti, produrrebbe risultati diversi. Questo vale in particolare per modelli da centinaia di miliardi di parametri, dove la differenza tra 32K e 128K token non è solo teorica ma si riflette su TCO e dimensionamento dell'infrastruttura.

ISTA invita chi ha capacità di calcolo a riprodurre i risultati con le stesse impostazioni. Il codice è su GitHub, i paper su arXiv. In passato modelli simili sono stati verificati da terze parti come Benjamin Marie. La richiesta non è una difesa: è un modo per rendere i benchmark più leggibili. Se il budget di output non viene standardizzato, ogni confronto continuerà a misurare non tanto la qualità del modello quanto le risorse di calcolo che si è disposti a concedergli.

Nel frattempo, il team sta rieseguendo i confronti nel proprio ambiente: una mossa che, più di una smentita, mette il dito sul vero problema: per i modelli di questa scala, la politica di inference è parte integrante del modello stesso.