La domanda che tormenta chi sviluppa in locale è semplice: posso fidarmi di un LLM per risposte tecniche senza appoggiarmi al cloud? Un developer ha voluto vederci chiaro e ha impostato un benchmark sistematico, prendendo la documentazione ufficiale di progetti come Node, LangChain.js, TypeScript, Transformers.js e Vue e generando domande a risposta multipla con un modello cloud (DeepSeek-v4-flash). Poi ha messo alla prova modelli locali, in particolare i modelli Unsloth Gemma con QAT, in tre scenari: senza alcun contesto aggiuntivo, con il documento corretto fornito manualmente (oracolo) e con un sistema RAG reale che inietta i documenti più rilevanti senza preselezione.

I risultati sono netti. Senza RAG, i modelli locali inciampano: l'accuratezza resta bassa, insufficiente per un uso professionale. Basta però fornire il documento giusto e le performance schizzano in alto. Il RAG automatico — con la complessità di dover selezionare i documenti senza sapere quale sia quello esatto — si conferma la via maestra per rendere utile un LLM on-premise. Il thinking, spesso venduto come marcia in più, non sposta quasi nulla: appena un punto percentuale di miglioramento, a fronte di tempi di inference molto più lunghi.

Il dato più sorprendente arriva da Apple Intelligence, il piccolo modello integrato nei dispositivi Apple. Ha un limite di contesto di circa 4K token, molto inferiore ai 32K concessi agli altri modelli, e per questo il RAG è stato configurato per iniettare solo i primi tre documenti (anziché cinque). Nonostante questa compressione, Apple Intelligence ha raggiunto l'86% di accuratezza: un risultato notevole per un modello che gira interamente on-device.

Cosa significa per chi sceglie l'on-premise

Questo esperimento non è solo una curiosità da smanettoni. Tocca un nodo strategico: il confine tra dipendenza da API cloud e autonomia locale. Un LLM locale, anche di dimensioni contenute, abbinato a un knowledge base aziendale e a un sistema RAG ben tarato, può gestire domande tecniche con un'affidabilità paragonabile a soluzioni cloud, ma con pieno controllo sui dati. Per settori regolamentati, dove la residenza dei dati non è negoziabile, questa combinazione rappresenta una terza via tra il fai-da-te rischioso e il lock-in dei big provider.

Il rovescio della medaglia è la gestione del contesto. La finestra di attenzione del modello resta un collo di bottiglia: documenti lunghi e iniezione massiva di chunk possono saturarla, costringendo a compromessi. Apple Intelligence, pur limitato, mostra che un modello piccolo può surclassare le aspettative se il RAG è progettato con cura. Il messaggio strutturale è che la corsa ai modelli sempre più grandi potrebbe non essere l'unica strada: l'ecosistema locale sta maturando al punto che per molti use case l'investimento si sposta dai GPU-monstre all'integrazione intelligente tra retrieval e generazione.

Certo, costruire un RAG efficace non è plug-and-play. Richiede messa a punto, valutazione della pertinenza e una pipeline di indicizzazione robusta. Ma i numeri di questo benchmark dicono che lo sforzo ripaga. E segnalano che il futuro dell'inference locale non è fatto solo di modelli, ma di architetture ibride dove la conoscenza esterna colma il gap di capacità del singolo modello.