Domani, a sorpresa, Kimi K3 diventa open weight. L’annuncio, filtrato su Reddit, arriva con l’entusiasmo di chi vede l’ennesimo LLM di frontiera uscire dalla cattedrale delle API chiuse. Ma c’è un dettaglio che smorza i toni: «Non riesco a eseguirlo, e nemmeno un modello cento volte più piccolo», scrive l’utente che ha dato la notizia. Non è una provocazione, è la fotografia di un problema strutturale.

La dimensione di Kimi K3 non è ancora ufficiale, ma il commento dice molto. Se un modello cento volte inferiore resta ancora ingestibile su hardware personale, parliamo di un LLM che richiede decine di GPU con centinaia di GB di VRAM solo per l’inference. Siamo fuori dalla portata di qualsiasi deployment on-premise che non sia un datacenter aziendale con budget hardware fuori scala. Il self-hosting, tanto celebrato quando Meta ha rilasciato Llama, qui si scontra con la realtà: certi modelli nascono già come cloud-native, e l’open weight non cambia la fisica.

La trappola degli inference provider

L’utente di Reddit aggiunge un passaggio illuminante: aspetta soprattutto «i nuovi inference provider che si spera apriranno». Qui sta il cortocircuito. Un modello open weight, in teoria, abilita chiunque a fare fine-tuning, a studiare i pesi, a personalizzare il comportamento. Ma se per usarlo devi appoggiarti a un provider terzo, l’indipendenza si riduce. Non è molto diverso da un’API proprietaria: l’inference esce dal tuo perimetro, i dati transitano su macchine altrui, e la sovranità – cuore del ragionamento on-premise – si sfalda.

Questo scenario ridisegna gli incentivi. Da un lato, i fornitori di infrastruttura cloud (e i nuovi provider specializzati in LLM open weight) guadagnano un nuovo servizio ad alto margine; dall’altro, le organizzazioni che puntavano sul self-hosting per motivi di compliance o GDPR si ritrovano tagliate fuori, a meno di non investire cifre enormi in acceleratori. Kimi K3 diventa così un oggetto di consumo per hyperscaler, mentre i laboratori più piccoli e le aziende con budget IT ordinari restano a guardare.

Cosa ci dice questa storia

L’open weight non è più sinonimo di accessibilità hardware. Per anni abbiamo associato la pubblicazione dei pesi a una democratizzazione effettiva – scarichi il modello, lo metti su un server con qualche GPU, e lavori. Oggi lo scollamento tra crescita dei modelli e capacità delle macchine tipiche on-premise è così ampio che la democratizzazione rischia di diventare una finzione: i pesi ci sono, ma la chiave per usarli è in mano a pochi.

Kimi K3 segnala anche un’evoluzione di mercato interessante. Se l’inference diventa il collo di bottiglia, assisteremo a una proliferazione di provider che offrono API su modelli open weight, con margini costruiti sull’ottimizzazione hardware (quantization, sharding, serving ottimizzato). È un modello di business che fa da ponte tra open source e servizi gestiti, ma che per chi ha obblighi di residenza dei dati o necessità di audit rimane un compromesso difficile da accettare.

Alla fine, la domanda non è solo “quanto è bravo Kimi K3?”, ma “quanto è eseguibile senza vendere l’anima al cloud?”. L’intera discussione sul self-hosting si sposta dalla disponibilità dei pesi alla disponibilità di hardware abbordabile per l’inference su larga scala – un tema che AI-RADAR segue da vicino, perché è qui che si giocano le vere scelte architetturali per chi non vuole cedere dati o controllo.