All'apparenza è produttività. In realtà è l'ennesima incarnazione di un problema vecchio quanto l'informatica aziendale: lo shadow IT. Ogni organizzazione convive con due ambienti tecnicici: quello costruito, documentato e presidiato dall'IT, e quello che i dipendenti si sono montati da soli per fare prima. La differenza, oggi, è che nel secondo ambiente ora girano modelli linguistici capaci di masticare documenti riservati, strategie commerciali e dati dei clienti.

Quando un team marketing carica un report finanziario su un servizio di AI generativa esterno perché «è comodo e non c'è tempo di aprire un ticket», si sta materializzando non un'eccezione, ma una regola. E i team di sicurezza, abituati a inseguire app non autorizzate, si trovano di colpo a fronteggiare una minaccia strutturale: i dati non escono più solo via fogli Excel allegati a webmail personali, ma attraverso prompt e fine-tuning improvvisati.

Non è una questione di malafede. I dipendenti cercano strumenti che funzionino subito, e i servizi cloud-based offrono un'esperienza d'uso immediata. Il problema si annida nel momento in cui quella immediatezza scavalca la governance del dato. In Europa, dove il GDPR impone una catena di responsabilità chiara, ogni richiesta che transita su un server fuori dal controllo aziendale diventa un rischio legale concreto.

Questo scenario accelera un ragionamento che fino a pochi mesi fa era appannaggio di poche organizzazioni molto strutturate: se il dato è l'asset da proteggere, allora l'inference deve restare dentro casa. Non solo per compliance, ma per non regalare a terzi la memoria di ciò che l'azienda sa.

Il self-hosting di modelli open source, serviti con framework come vLLM, Ollama o TGI su infrastruttura bare metal o virtualizzata on-premise, da esercizio da smanettoni diventa presidio di architettura. Non cancella il fenomeno dello shadow IT, ma ne riduce la superficie d'attacco: se i dipendenti hanno accesso a un LLM aziendale con le stesse performance e senza attriti, il bisogno di cercare scorciatoie esterne cala drasticamente. E quel LLM, girando su nodi gestiti dall'IT, riporta sotto controllo le credenziali, i log e il flusso dei token.

Certo, il deployment on-premise non è una bacchetta magica. Richiede competenze, GPU con sufficiente VRAM, valutazioni di TCO che confrontino CapEx e consumi energetici con l'OpEx del cloud. Ma cambia il segno del trade-off: non è più solo una comparazione di costi, ma una scelta di posizionamento strategico sulla sovranità del dato. Non sorprende che settori come finanziario, manifatturiero e pubblica amministrazione stiano spostando i loro proof-of-concept proprio su architetture self-hosted, valutando anche soluzioni air-gapped per scenari estremi.

La proliferazione di modelli quantizzati in INT8 o FP16, pensati per girare su hardware meno estremo, allarga la platea. Non serve per forza un cluster di A100 per offrire un servizio interno decente. E questo sposta la barriera: l'IT non può più dire «non abbiamo budget», perché un LLM interno oggi si costruisce con risorse che molte aziende già possiedono, a patto di avere l'architettura giusta.

Alla fine, la lezione dello shadow IT nell'era dei Large Language Models è una sola: non si combatte solo con policy e sanzioni. Si riduce mettendo a disposizione un'alternativa potente e alla pari, dentro il perimetro. Chi lo capisce inizia a vedere l'on-premise non come retaggio, ma come scelta di libertà.