Un LLM da quasi 2,7 miliardi di parametri che gira su uno smartphone senza GPU, a 17 token al secondo, non è più un esperimento di nicchia: è un segnale che l'inference on-device sta diventando un’alternativa concreta al cloud per una certa classe di carichi di lavoro. A mostrarlo è un developer che ha messo in funzione LFM2.5-2.6B su un OnePlus 13, sfruttando esclusivamente la CPU del telefono.

Il modello – pensato per flussi agentici multi-step e dotato di una finestra di contesto di 128K token – è stato eseguito nella variante GGUF Q4_K_M. Si tratta di una quantization a 4 bit che comprime drasticamente l’occupazione di memoria, mantenendo una qualità accettabile per molti task. L’inference engine, costruito da zero, pesa appena 450 KB e dialoga con il dispositivo via ADB attraverso un’interfaccia testuale che funge da probe di sistema. Nonostante le dimensioni minime, il runtime supporta diverse architetture: Qwen, Gemma, Bonsai e altre.

I 17 tok/s attuali sono già una velocità utile per interazioni conversazionali, ma l’obiettivo dichiarato è di raggiungere 30 tok/s, soglia che renderebbe l’esperienza indistinguibile da molte soluzioni cloud. Se centrato, cambierebbe i termini del discorso sull’intelligenza artificiale locale: non più una questione di possibilità tecniche, ma di convenienza e integrazione quotidiana.

A colpire non è solo il risultato grezzo, quanto l’ecosistema che questo esperimento lascia intravedere. Un engine di 450 KB significa una superficie di attacco ridotta, aggiornamenti agili e la capacità di essere incorporato in applicazioni consumer senza appesantirle. Il fatto che siano supportati modelli eterogenei spezza la dipendenza da un unico fornitore, un vantaggio cruciale per chiunque abbia esigenze di sovranità dei dati o operi in contesti air-gapped.

Per le aziende che valutano deployment on-premise o edge, il test su OnePlus 13 rappresenta una prova tangibile: non servono GPU dedicate né server ingombranti per eseguire LLM con capacità di ragionamento multi-step. Naturalmente bisogna considerare i limiti di memoria (su un telefono, il modello quantizzato occupa intorno a 1,3 GB, gestibile anche su dispositivi di fascia media), la potenza di calcolo e l’efficienza energetica. Ma il segnale è chiaro: la corsa verso modelli compatti e runtime ottimizzati sta ridefinendo verso il basso la soglia hardware per l'inference locale, spostando l’ago della bilancia dal cloud al dispositivo.

L’esperimento non è l’unico nel suo genere, ma la combinazione di un LLM progettato per workflow agentici e un motore ultra-leggero offre uno spaccato di ciò che potrebbe diventare routine: assistenti personali realmente autonomi, applicazioni industriali che non trasmettono mai dati sensibili oltre il perimetro aziendale e una nuova leva competitiva per chi sviluppa software senza voler dipendere da API di terze parti.

Il balzo verso i 30 tok/s, se confermato, potrebbe accelerare una tendenza già in atto. Nel frattempo, dimostrazioni come questa ricordano che l’innovazione nell’AI non passa solo dai datacenter, ma anche dalle mani di chi scrive codice ottimizzato per hardware che abbiamo già in tasca.