Una PlayStation 5 sbloccata che esegue Qwen 27B a circa 20 token al secondo. È il dato emerso da una segnalazione su Reddit, pubblicata da un utente e rilanciata con un link di approfondimento. Non c'è un white paper, non c'è un fornitore dietro: solo un esperimento che usa la GPU della console per fare inference su un modello da 27 miliardi di parametri. Il numero è grezzo, ma basta per interrogarsi su cosa significhi per chi valuta stack self-hosted.

La PS5 è una macchina da gioco con architettura a memoria unificata, una caratteristica che rende interessante l'idea di usarla per carichi di inference perché evita i trasferimenti tra CPU e GPU tipici delle workstation separate. Tuttavia le console non nascono per questo: la GPU è ottimizzata per il rendering, non per i carichi di calcolo che dominano l'inference dei LLM. Eppure, con un jailbreak e un runtime adeguato, il modello gira. Per farlo entrare nella memoria disponibile, è quasi certamente necessario ricorrere alla quantization, una pratica ormai standard nel deployment self-hosted per ridurre l'occupazione di VRAM senza perdere troppa qualità.

L'esperimento non sposta il mercato dei data center, ma segnala una pressione strutturale: la soglia utile per l'inference si sta abbassando verso hardware consumer. Chi opera in contesti con vincoli di sovranità dei dati può leggere in questi tentativi una conferma che modelli da decine di miliardi di parametri non richiedono per forza rack di GPU enterprise. Attenzione, però: una console sbloccata non è un server. Affidabilità, supporto, aggiornamenti e sicurezza sono problemi aperti. Il TCO di una soluzione del genere, se estesa a un servizio reale, andrebbe calcolato includendo il tempo di manutenzione e i rischi di un hardware fuori garanzia.

A beneficiarne, nel breve, sono i laboratori indipendenti, i team che devono fare prototipi senza budget per il cloud e chi deve tenere i dati in casa per ragioni normative. A perderci, nel lungo periodo, potrebbero essere i fornitori di GPU cloud entry-level, abituati a vendere ore di inference per modelli che girano sempre meglio su hardware riciclato o di recupero. Anche i produttori di GPU enterprise non sono toccati direttamente, ma il tema della memoria unificata e dell'efficienza energetica potrebbe diventare un argomento competitivo.

Resta una domanda pratica: quanto incide il jailbreak sulla stabilità e sulla sicurezza? Per un prototipo va bene; per un servizio, no. Ma la prossima generazione di hardware consumer con più memoria unificata potrebbe rendere questi esperimenti meno estremi e più ordinari. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per pesare i trade-off senza scorciatoie.