C'è chi compra GPU da decine di migliaia di euro e chi, per testare i limiti dell'inference locale, rispolvera una console portatile lanciata vent'anni fa. L'esperimento arriva da un utente su GitHub e mostra un LLM conversazionale da 90 milioni di parametri in esecuzione su Sony PSP, hardware consumer del 2004. La risposta alla domanda “quanto regge davvero la PSP?” è netta: un modello da 90M è il massimo gestibile senza che la generazione dei token diventi insopportabile.

I numeri sono quelli di un test didattico, non di un servizio. Il sistema produce tra 0,5 e 0,6 token al secondo: una risposta completa può richiedere da uno a tre minuti. Non è un problema di ottimizzazione mancata, ma il riflesso di un vincolo fisico. La PSP non è stata progettata per carichi di lavoro legati ai transformer, e la sua memoria e la sua CPU impongono un tetto molto basso alla dimensione del modello e alla velocità di inference.

Il punto interessante non è l'utilità pratica, che è vicina allo zero. Il modello sa scrivere poesie mediocri, racconti brevi, codice non funzionante e, ogni tanto, risponde correttamente a domande semplici come chi produca i MacBook o cosa sia un LLM. Altre volte allucina risposte senza senso. È il comportamento atteso per un modello di taglia minima: abbastanza parametri per mostrare una qualche capacità linguistica, troppo pochi per essere affidabile.

La vera lezione è strutturale. Questo esperimento sposta l'attenzione dal data center al bordo estremo della rete, dove l'hardware è vecchio, la memoria è risicata e non esiste alcuna GPU specializzata. Dimostra che l'inference locale non è un territorio esclusivo di macchine recenti e costose: con modelli abbastanza piccoli e un po' di pazienza, anche dispositivi obsoleti possono eseguire un LLM in self-hosted. Ma dimostra anche che tra “gira” e “serve a qualcosa” c'è un abisso.

Per chi valuta deployment on-premise o edge, il messaggio non è “usate una console del 2004”, ma che il collo di bottiglia reale è quasi sempre il rapporto tra memoria disponibile, dimensione del modello e token al secondo accettabili. Su AI-RADAR, i trade-off tra questi vincoli vengono analizzati nella sezione dedicata ai LLM on-premise.

L'esperimento non cambierà il mercato. Nessun vendor smetterà di vendere acceleratori per via di una PSP. Ma è un promemoria utile: la corsa ai modelli sempre più grandi convive con un movimento opposto, fatto di test al limite, modelli compatti e hardware che nessuno considererebbe più “da calcolo”. In questo senso, la PSP diventa un banco di prova involontario per chi si chiede quanto possa essere davvero locale l'AI.