Il team di InclusionAI ha pubblicato il technical report della serie Ling-2.6, spingendo l’asticella dei Large Language Models fino a un trilione di parametri. Accanto al colosso Ling-2.6-1T, compare una variante “flash” da 100 miliardi di parametri, pensata per un equilibrio tra capacità e costi di inference. Ma tra i commenti della comunità open source, l’attenzione non è solo sulla potenza bruta: è l’efficienza estrema dei modelli più piccoli a catalizzare l’interesse di chi opera in ambiente on-premise.

Un utente ha ricordato le prestazioni della precedente famiglia Ling-mini-2.0, un modello da 16 miliardi di parametri con architettura Mixture of Experts. In quantization IQ4_XS, su una GPU con appena 8 GB di VRAM, raggiungeva 160 token al secondo. Ancora più sorprendente, la versione CPU-only su 32 GB di RAM produceva tra 50 e 70 t/s – un dato che l’utente definisce “mai visto prima” da altri modelli, persino quelli compressi a 1 bit.

Quando l’eredità conta più della taglia

Non esiste ancora un aggiornamento diretto di Ling-mini per la generazione 2.6, ma la community spera che InclusionAI replichi la ricetta. La matematica è semplice: se un modello da 16B arriva a 160 t/s, un ipotetico 30B quantizzato a 4 bit potrebbe toccare 80 t/s sulla stessa scheda. Questa proiezione, fondata su esperienze reali, mostra come l’ottimizzazione software e la quantization spinta possano ribaltare i vincoli dell’hardware consumer e aziendale.

Il senso per chi sceglie l’on-premise

Per chi valuta deployment self-hosted, il dato non è accademico. Token al secondo elevati su hardware modesto significano possibilità di eseguire LLM in locale senza dover investire in sistemi multi-GPU o dipendere da API cloud. Si aprono scenari di sovranità dei dati, riduzione del TCO e latenza prevedibile per applicazioni agentiche. Non tutti i modelli però garantiscono numeri simili: Ling-mini-2.0 resta un’eccezione che testimonia quanto un design orientato all’efficienza – dall’architettura MoE all’implementazione della quantization – possa fare la differenza rispetto alla corsa ai parametri.

Prospettive e incognite

Il report su Ling-2.6 non offre dettagli su future varianti mini, ma la presenza di un modello flash da 100B lascia intendere un interesse verso il bilanciamento. Nel frattempo, chi gestisce infrastrutture on-premise può trarre una lezione: non è solo la dimensione del modello a determinare l’usabilità, ma l’intero stack di inference. La serie Ling, con il suo passato, ricorda che i record di velocità su hardware comune nascono da una progettazione che mette l’efficienza al primo posto.