Quando si è già abbonati a un servizio LLM in cloud, il beneficio marginale di far girare un altro modello linguistico sul proprio hardware si sgretola in fretta. Non è un’ipotesi astratta, ma la constatazione concreta di uno sviluppatore che ha acceso la discussione in questi giorni: dopo aver sottoscritto ChatGPT Pro, con accesso praticamente illimitato ai modelli GPT tramite l’app Codex, eseguire in locale Qwen 27B o Gemma 31B su una Tesla P40 aveva perso ogni utilità pratica. La GPU rimaneva accesa, ma la produttività non ne traeva più vantaggio.

È a quel punto che è scattato il ripensamento. Invece di continuare a inseguire un’inference locale ormai coperta dal cloud, lo sviluppatore ha riorientato le risorse verso ciò che il servizio a pagamento non gli offriva senza costi aggiuntivi: i modelli di embedding e di reranking. Usare Qwen3 Embedding 4B e Qwen3 Reranker 4B sulla stessa Tesla P40 ha trasformato la scheda da motore di generazione sostitutivo a un server di memoria persistente, perfettamente integrato nel flusso di lavoro quotidiano.

Il sistema, battezzato GBrain, è un esempio lampante di come la potenza di calcolo locale possa diventare il collante di un’intelligenza distribuita. Lo stack è composto da llama.cpp, PostgreSQL con estensione pgvector, Ceph per l’API S3 e GitLab per archiviare i ricordi in formato Markdown. Quando lo sviluppatore utilizza Codex o la web app di ChatGPT, tutto ciò che viene esplicitamente chiesto di memorizzare – o che il sistema valuta come rilevante – viene salvato tramite un’interfaccia MCP in un file Markdown. GBrain indicizza il contenuto, genera embedding e usa un LLM per estrarre fatti essenziali da ogni documento. Al momento del recupero, il modello di embedding seleziona i ricordi potenzialmente pertinenti e il reranker restringe il campo ai più rilevanti, restituendo al modello cloud solo le informazioni contestualmente utili.

Questo schema segnala un passaggio strutturale nell’uso delle infrastrutture on-premise. Non si tratta più di replicare la capacità dei grandi fornitori, ma di completarli con anelli mancanti che, per ragioni commerciali o di architettura, restano a pagamento o poco accessibili via API. I modelli di embedding e reranking sono notoriamente i pilastri invisibili di qualsiasi sistema RAG, ma i servizi cloud li fanno pagare a token o li nascondono dietro offerte enterprise. Renderli locali abbatte la latenza, elimina i costi variabili e mantiene i dati – le conversazioni, le preferenze, la memoria del lavoro – sotto il proprio controllo, una carta cruciale per chi ha vincoli di compliance o semplicemente non vuole affidare la propria memoria professionale a un provider esterno.

L’impatto sull’hardware è altrettanto rilevante. Una Tesla P40 con 24 GB di VRAM è una scheda di vecchia generazione, ampiamente surclassata nei benchmark di inference per modelli massicci. Eppure, per un embedding model da 4B di parametri e un reranker delle stesse dimensioni, quelle risorse sono più che sufficienti. La scelta di questo sviluppatore suggerisce che molte organizzazioni potrebbero recuperare GPU che giacevano inutilizzate, destinate allo smaltimento, e riconvertirle in nodi di indicizzazione semantica. Invece di inseguire l’ultimo acceleratore da decine di migliaia di euro, si ripensa il TCO sfruttando l’hardware già ammortizzato per carichi di lavoro complementari.

C’è poi una lezione sull’architettura agentica. Il collegamento di GBrain sia a Codex sia alla web app di ChatGPT, entrambi tramite MCP, permette di condividere il contesto tra strumenti diversi senza interventi manuali. È un esempio concreto del paradigma Model Context Protocol: l’intelligenza pesante resta nel cloud, ma il “sistema nervoso” che gestisce la memoria e il recupero delle informazioni resta locale, costruendo un ecosistema dove l’utente decide cosa ricordare e come riutilizzarlo, senza vincoli di piattaforma. Chi già paga un abbonamento a ChatGPT, Claude o servizi analoghi dovrebbe forse smettere di chiedersi “quale LLM far girare in locale” e iniziare a chiedersi “quale componente della catena del valore mi manca per non dipendere completamente dal cloud”. Embedding e reranker locali sono la risposta più nitida.