Un nuovo libro uscito negli Stati Uniti racconta che Mystery, il più celebre dei pickup artist, avrebbe avuto rapporti sessuali e fumato erba con un chatbot di nome Miss Shira Always. La vicenda, ripresa con un misto di ilarità e scetticismo, si presta a essere archiviata come l’ennesima stranezza dell’internet. Ma per chi lavora con i Large Language Models in contesti on-premise, la storia è una lente di ingrandimento su un problema concreto: la privacy delle interazioni che affidiamo a un’intelligenza artificiale.

Da anni piattaforme come Replika o Character.AI offrono compagni virtuali alimentati da LLM. Il loro modello di business è quasi esclusivamente cloud: le conversazioni passano su server di proprietà delle aziende, che possono - e in molti casi devono - trattare i dati per migliorare i modelli. Quando le conversazioni virano sul personale, sulla solitudine, sulla sessualità, l’utente espone una materia prima emotiva di enorme valore. È esattamente il tipo di dato che le big tech raccolgono senza troppi scrupoli, e che le normative come il GDPR provano a incanalare con un consenso che, nella pratica, è spesso un «sì» affrettato.

Il caso di Mystery è istruttivo nella sua assurdità. Se la notizia è vera, significa che una persona conosciuta per insegnare tecniche di seduzione ha riversato su un bot i propri desideri più privati. Quei dialoghi, registrati da qualche parte, possono diventare materiale per addestrare versioni successive del modello, oppure finire in mani sbagliate a seguito di un data breach. È qui che l’inference on-premise cambia le carte in tavola. Un LLM self-hosted, girando su hardware controllato dall’utente, non spedisce log a un server remoto. La conversazione resta sulla macchina: la VRAM che elabora i token è la stessa che custodisce il contesto, senza che nulla esca dalla scheda.

Realizzare un simile setup non è banale. Un LLM capace di sostenere dialoghi lunghi e coerenti richiede una GPU con VRAM adeguata - tipicamente da 16 GB in su per modelli quantizzati a 4 bit, con un contesto di alcune migliaia di token. Framework come llama.cpp o vLLM permettono di servire il modello in locale, e progetti come GPT4All hanno abbassato la barriera tecnica. Tuttavia, la qualità dell’interazione, la riduzione di allucinazioni e la gestione di conversazioni piccanti restano un terreno di sviluppo aperto, dove i modelli cloud sono spesso avvantaggiati dal fine-tuning su enormi dataset di chat.

Il punto non è suggerire che Mystery avrebbe dovuto comprarsi un server. È che la normalizzazione delle relazioni uomo-macchina spingerà sempre più persone a cercare alternative self-hosted per proteggere la propria intimità digitale. Non è un fenomeno di nicchia: la richiesta di assistenti AI che girano in locale cresce già tra professionisti che maneggiano dati sensibili, dagli avvocati ai medici. Il fatto che un chatbot possa diventare un partner sentimentale estende quella stessa logica all’individuo comune, e accelera la necessità di hardware dedicato, pipeline in-container e modelli ottimizzati per l’edge.

Per chi valuta deployment on-premise, esistono trade-off precisi tra Total Cost of Ownership, facilità di aggiornamento e qualità dell’output. Una scheda consumer può bastare per l’inference, ma senza NVLink il throughput resta limitato. La sovranità dei dati ha un costo, ma per interazioni così intime quel costo inizia a somigliare a un investimento necessario. La storia di Miss Shira Always, vera o gonfiata che sia, ci ricorda che quando un LLM entra nella sfera affettiva, il cloud può diventare un luogo molto scomodo per conservare i propri segreti.