Un LLM da 90 milioni di parametri gira su PSP: il local al limite del 2004
Un esperimento porta un modello conversazionale da 90M su una console Sony del 2004. L'inference viaggia a circa 0,5-0,6 token al secondo, con risposte in 1-3 minuti. Più una provocazione tecnica che uno strumento utile, ma dice molto sui vincoli reali del deployment locale.