Il problema non è se i grandi LLM siano bravi. Il problema è quanto costa mantenerli in vita. I modelli attuali come Opus 5.5 sono in una categoria a parte, ma chi li offre perde una quantità enorme di denaro con gli abbonamenti. Nel frattempo, compiti come OCR e segmentazione vengono già risolti da modelli con un numero di parametri nell'ordine dei singoli miliardi. Non è una previsione da laboratorio: sta succedendo adesso.

La tesi che circola su Reddit è che il futuro non appartiene a un unico modello generalista, ma a modelli specializzati che funzionano meglio proprio quando sono più piccoli. Addestrarli costa meno, non richiedono potenza da datacenter e possono girare in locale. Tra dieci anni, per ogni attività che ci interessa potrebbe esserci un modello dedicato.

Questa visione ha implicazioni strutturali per chi progetta infrastrutture AI. Se il valore si sposta verso modelli specializzati più piccoli, l'inference smette di essere un problema da cluster cloud centralizzato e diventa un carico gestibile su hardware locale o edge. Per le aziende che devono rispettare vincoli di sovranità dei dati o ridurre il TCO, il calcolo cambia: invece di pagare per token a un provider, si investe in hardware e si mantiene il controllo della pipeline.

I perdenti potrebbero essere i fornitori di LLM generalisti che basano il business sugli abbonamenti: se i clienti scoprono che un modello da 9 miliardi di parametri addestrato da un laboratorio specializzato batte i benchmark su un compito specifico, il valore della sottoscrizione universale si erode. I vincitori sono i team che sanno orchestrare modelli multipli, i produttori di acceleratori per inference locale e le organizzazioni che vogliono evitare dipendenze da API esterne.

C'è però una trappola: sotto l'etichetta di un solo modello, i fornitori potrebbero nascondere centinaia di modelli specializzati instradati a seconda della richiesta. Questo complica l'audit e la riproducibilità: se non sai quale componente ha prodotto una risposta, diventa più difficile verificare errori o garantire coerenza. Per chi valuta deployment on-premise, il problema non è solo scegliere il modello, ma costruire un sistema di orchestrazione e monitoraggio che tenga insieme più componenti. AI-RADAR offre strumenti analitici su /llm-onpremise per valutare questi trade-off.

L'esempio dei modelli cosiddetti system one è imperfetto ma istruttivo: si può chiedere a un LLM di valutare opzioni tutto il giorno, ma un modello da 9 miliardi di parametri specializzato può battere i benchmark. Il collo di bottiglia non è la capacità del singolo modello, ma la capacità di scomporre i problemi e distribuirli. Se questa logica si consolida, il datacenter diventa l'eccezione, non la regola.