La notizia arriva dal repository SGLang-V100 e ha il sapore di un test artigianale, ma tocca un nervo scoperto del deployment on-premise. Il modello RadixArk/Qwen3.8-Flash-Next-NVFP4 gira su quattro V100 32GB con contesto pieno da 256k token. Il sistema sposta poco più di 50GB di meccanismo ngram sulla RAM di sistema e, secondo i dati pubblicati, mantiene un prefill intorno ai 4.000 token/s e un decoding intorno ai 60 token/s fino alla fine del contesto.

I dettagli meritano attenzione perché rompono un'assunzione comune: i contesti lunghi non sono appannaggio esclusivo delle GPU più recenti. Il comportamento degrada in modo non uniforme. A 10k token, il time-to-first-token senza multi-token prediction è di 2.154 ms e l'output è di 59,93 token/s; attivando MTP l'output sale a 81,39 token/s ma il TTFT peggiora a 2.307 ms. A 250k token, il TTFT è di 63.451 ms senza MTP e 66.587 ms con MTP, mentre l'output scende rispettivamente a 56,85 e 62,58 token/s. Il decoding resta vicino ai 60 token/s dichiarati, ma il costo di avvio diventa il vero vincolo.

Anche la concorrenza racconta una storia più sfumata. Con un solo flusso, MTP porta l'output da 55,12 a 74,82 token/s (+35,7%). Con 8 flussi, il throughput aggregato sale a 172,98 token/s senza MTP e 194,13 con MTP, ma il TTFT supera gli 8 secondi. Con 16 flussi, l'output con MTP scende a 183,87 token/s contro 239,36 senza MTP, con un differenziale negativo del 23,2%. La lunghezza di accettazione di MTP si mantiene intorno a 3 token per passo, segno che i guadagni speculativi hanno un limite quando la pressione concorrente aumenta.

Per chi opera flotte V100, questi numeri hanno una lettura economica immediata. Non si tratta di battere una H100, ma di capire se hardware già ammortizzato può coprire una classe di carichi: analisi di documenti lunghi, revisione di trascrizioni, estrazione da corpus estesi. Con 128GB di VRAM complessivi e offload su RAM, la fattibilità dipende dall'equilibrio tra memoria di sistema, latenza accettabile e numero di richieste concorrenti. Il TCO si sposta: il costo di un upgrade di RAM e della messa a punto del serving può essere molto inferiore all'acquisto di nuove GPU, ma il prezzo si paga in coda e in variabilità di risposta.

Da un punto di vista strutturale, il supporto in SGLang-V100 mostra che l'ecosistema dei framework sta allungando la coda dell'hardware. Tecniche come quantization NVFP4 e offload su RAM non cancellano il divario generazionale, ma ridefiniscono il perimetro d'uso. Per i data center che trattano dati sensibili, questo significa poter tenere l'inference dentro i propri confini più a lungo, senza forzare la migrazione verso API cloud. Non è un percorso gratuito: la tabella della concorrenza dimostra che il throughput aggregato cresce, ma la latenza per singola richiesta esplode, e la scelta tra batch e interattività diventa esplicita.

Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per soppesare questi trade-off, evitando di ridurre la scelta a una sola metrica. Il dato da non perdere è quel -23,2% a 16 flussi: in un carico reale, la stessa tecnica che accelera il singolo stream può diventare un costo. È lì che si gioca la differenza tra un benchmark da forum e una decisione di infrastruttura.