Nell’ecosistema dell’AI self-hosted c’è una barriera tecnica che separa chi vuole autonomia da chi la può davvero ottenere: le ottimizzazioni specifiche per l’hardware. Un utente su Reddit l’ha scavalcata in meno di un’ora, facendo scrivere a DeepSeek un kernel Metal personalizzato per far girare la versione IQ1_0 del modello Kimi K2 sul proprio Mac Studio con 512 GB di RAM.

La notizia, per quanto aneddotica, ha un sapore strutturale. L’utente non ha trovato su GitHub il kernel adatto alla quantization IQ1_0 di Unsloth e ha chiesto a un LLM di generarlo. Il risultato: 4 token al secondo in decode e 20 in prefill sul silicio Apple, contro i 50 token di decode su una RTX Pro 6000 via LM Studio. Numeri che non fanno gridare al miracolo, ma che segnano un cambio di paradigma: il software che manca può essere scritto dall’AI stessa, su misura per l’hardware che abbiamo sotto la scrivania.

Il dato più interessante non sono le prestazioni assolute — un modello GLM 5.2 a 4 bit si è comunque rivelato migliore nei test dell’autore — ma la direzione che indica. Fino a ieri, estrarre valore da un LLM quantizzato su hardware non NVidia richiedeva competenze di basso livello, spesso assenti nei team aziendali che valutano il deployment on-premise. Oggi, un prompt mirato può colmare quel vuoto, abbassando il costo di ingresso per chiunque abbia una macchina sufficientemente potente e voglia tenere i dati in casa.

C’è un paradosso produttivo in tutto questo: il modello che genera il kernel è esso stesso un LLM di grandi dimensioni, probilmente rodato su un parco GPU da datacenter. Il “sapere” necessario a far funzionare l’AI locale arriva da un’AI addestrata in cloud, ma produce strumenti che rinforzano l’infrastruttura locale. Si crea un ciclo autonomo che può accelerare la frammentazione dell’inference, togliendo alle piattaforme centralizzate il monopolio delle ottimizzazioni hardware.

Per chi si occupa di requisiti di compliance e residenza dei dati, questo scenario ha implicazioni a doppio taglio. Da un lato, la possibilità di generare automaticamente collante software su misura rende più appetibili gli ambienti air-gapped — quelli dove i dati sensibili non escono mai dal perimetro aziendale. Dall’altro, solleva interrogativi sulla manutenibilità a lungo termine: un kernel generato da un LLM non ha la robustezza di un progetto open source collaudato, e il suo debug resta appeso alla capacità del modello successivo di correggerlo. Un loop che rischia di diventare fragile quando si scala su architetture più complesse.

L’episodio conferma anche una tendenza di fondo: le differenze tra ecosistemi hardware si stanno assottigliando quando il compito è l’inference pura. Se un Mac Studio con RAM unificata può raggiungere qualche token al secondo su un modello da 90 GB compresso a 2 bit, la domanda per molte imprese diventa: quanto ci costa davvero, in termini di TCO, mantenere una GPU dedicata in cloud rispetto a capitalizzare su hardware già presente? La risposta non è scontata, ma il semplice fatto che la domanda si possa porre con cognizione di causa, grazie a 50 minuti di scrittura automatica di codice, è già di per sé una risposta parziale.