Un modello linguistico da 27 miliardi di parametri — pienamente attivo, senza scorciatoie sparse — che gira su un iPhone. È la promessa di PrismML, startup nata dalla ricerca matematica del California Institute of Technology e finanziata da Khosla Ventures, che ha annunciato di aver miniaturizzato Qwen 3.6, il LLM open-source sviluppato dal colosso cinese Alibaba, portandolo da circa 54 GB a meno di 4 GB. Il rilascio pubblico è fissato per martedì prossimo.

La cifra è eloquente: un fattore di compressione superiore a dieci volte, ottenuto — stando al CEO Babak Hassibi — con un «trucco matematico» che non degrada le prestazioni. Se confermato nei test indipendenti, il risultato scardina uno dei vincoli più solidi dell’inference on-device: la necessità di sacrificare capacità pur di stare dentro i limiti di memoria e dissipazione di uno smartphone. Il modello, spiega la startup, è in grado di gestire chat complesse, ragionamento, agenti autonomi e generazione di codice, tutte funzioni finora confinate ai server cloud o a chip dedicati con decine di gigabyte di VRAM.

La compressione che non fa rimpiangere l’originale

Tecniche di compressione come quantization, pruning e distillazione sono moneta corrente nel mondo dei LLM. Ma il compromesso tipico è una perdita di qualità, soprattutto su task di ragionamento strutturato. PrismML rivendica di averlo evitato sfruttando algoritmi sviluppati nei laboratori del Caltech, i cui brevetti sono concessi in licenza esclusiva alla startup. Non è stata rilasciata documentazione tecnica dettagliata, ma la disponibilità open-source del modello consentirà alla comunità di verificare se l’intero spettro delle performance originali sia stato preservato.

Perché è più di un esperimento da laboratorio

Il test su iPhone 17 Pro non è solo un primato simbolico. Segnala una possibile ridefinizione del confine tra ciò che deve andare in cloud e ciò che può risiedere in tasca. Apple stessa, con l’architettura sparsa dei suoi modelli on-device, tiene attivi solo da 1 a 4 miliardi di parametri per volta, su un totale di 20. Qui invece tutti i 27 miliardi sono operativi contemporaneamente, un salto di densità computazionale che — se replicabile su dispositivi non di punta — cambia radicalmente l’economia dell’inference: latenza azzerata, zero costi di trasmissione dati, piena sovranità dell’utente sui propri input.

La scommessa di Hassibi è che entro tre anni il 95% dell’intelligenza artificiale quotidiana sarà elaborata in locale. “Basterà andare sul cloud solo per il 5% dei casi più estremi”, ha dichiarato, sottolineando come questa migrazione forzata verso il dispositivo mini alla radice i conti dei fornitori di AI-as-a-Service e sposti il peso dell’investimento hardware verso chip consumer e NPU sempre più potenti. Non è una visione isolata: tutto il filone dei “small language models” e delle tecniche di compressione cresce proprio sull’ipotesi che l’inference cloud sia un collo di bottiglia inaccettabile per costi e privacy.

PrismML promette di applicare lo stesso metodo a modelli da trilioni di parametri, portandoli nel dominio di ciò che oggi chiamiamo edge. Un tale salto sfiderebbe anche i data center più attrezzati, perché sposterebbe l’asticella del “dove conviene eseguire il modello” verso hardware locale con consumi ridotti. La prossima settimana, con il codice e i pesi disponibili pubblicamente, si potrà cominciare a capire se l’annuncio è il primo mattone di un cambio di paradigma o l’ennesimo overclaim in un settore che di promesse ne ha già bruciate molte.