Mentre i colossi del cloud spingono LLM sempre più grandi, il team di Ling propone un percorso opposto: un modello a mistura di esperti (MoE) da 8 miliardi di parametri totali che ne attiva solo 1,3 miliardi, capace di superare la soglia psicologica dei 100 token al secondo su hardware già presente in ufficio (DGX Spark) e di sfiorare i 90 token/s su un MacBook Pro con chip M4 Pro. È Ling-3.0-tiny, la variante ridotta del Ling-3.0-flash rilasciato pochi giorni fa, e i numeri parlano chiaro: memoria di picco sotto i 9 GiB in FP8 a 8K di contesto, un’impronta che ridefinisce cosa significhi “portabile” per un modello linguistico.

La scheda tecnica diffusa dal team indica 100-105 token/s su DGX Spark e 86-90 token/s su M4 Pro, con un consumo di memoria di circa 8,34 GiB. Questi dati non sono semplici benchmark: segnalano che l’architettura MoE, quando i parametri attivi sono ridotti all’osso, inverte la relazione tradizionale tra capacità del modello e costo hardware. In un LLM denso, la memoria e la potenza di calcolo scalano con l’intero set di parametri; qui invece l’inference dipende quasi esclusivamente dai parametri attivati per ciascun token. Di conseguenza, il carico computazionale reale è paragonabile a quello di un modello da 1,3 miliardi di parametri, mentre la qualità delle risposte si attesta, secondo i primi confronti, tra quella di modelli densi da 4 e da 8-12 miliardi di parametri (Qwen e Gemma).

Perché l’architettura MoE stravolge i conti dell’hardware locale

Il cuore del vantaggio non sta nella magia del training, ma nell’inference. Ogni token attiva solo una frazione degli esperti, quindi la VRAM o la memoria unificata necessaria per mantenere il modello in esecuzione rimane sorprendentemente bassa. 8,34 GiB di picco, con quantization FP8, significa che il modello gira agevolmente su una workstation con GPU entry-level o su un laptop recente senza bisogno di scaricare in cloud. Per chi sviluppa applicazioni sensibili alla latenza — assistenti di codice, chatbot integrati, agenti che devono reagire in tempo reale — la differenza fra 10 e 100 token/s è la differenza fra uno strumento utilizzabile e una demo da laboratorio.

Il punto di svolta per l’inference on-premise

La diffusione di modelli come Ling-3.0-tiny cambia gli incentivi delle imprese che finora hanno scelto API cloud per mancanza di alternative realistiche. Tenere i dati in casa, evitare costi ricorrenti e garantire la conformità GDPR non sono più obiettivi in contraddizione con le performance. Con 8,34 GiB di memoria e velocità superiori a quelle di molti modelli da 7B densi, un team IT può valutare l’acquisto di un singolo DGX Spark o di una flotta di MacBook Pro sapendo che il Total Cost of Ownership (TCO) a tre anni potrebbe risultare inferiore a un abbonamento API. Non è fantascienza: è la logica del computing locale che torna ad avere senso quando l’efficienza architetturale batte la taglia pura.

Per chi sta valutando il salto verso l’inference locale, strumenti come i framework analitici di AI-RADAR su /llm-onpremise aiutano a mappare consumi, hardware e costi totali di possesso, offrendo una vista integrata senza promesse facili.

Chi vince e chi perde con i MoE tascabili

A beneficiarne per primi sono gli sviluppatori indipendenti e le medie imprese che non vogliono dipendere da endpoint esterni. Sul fronte hardware, NVIDIA e Apple si trovano con dispositivi già pronti a fungere da “appliance” per l’inference: il DGX Spark esegue il modello a piena velocità, mentre la memoria unificata dei Mac con Apple Silicon permette di gestire il carico senza overhead di bus separati. Di converso, i provider cloud che basano parte del loro fatturato sull’inference di LLM potrebbero vedere erosa la domanda, soprattutto per le applicazioni a volume costante. Anche le startup che puntano su modelli densi enormi dovranno confrontarsi con un concorrente a basso costo che non richiede infrastrutture specializzate.

Ling-3.0-tiny non stravince i benchmark — la sua forza è un’altra. Segnala che la prossima ondata di adozione dell’AI non passerà necessariamente dai datacenter, ma dai dispositivi che abbiamo già sulla scrivania.