Un repository su GitHub mostra un risultato che sposta l’attenzione dal solo hardware all’efficienza del software. Il progetto Laya, dopo l’aggiunta del supporto a OpenVINO, risponde a una domanda in 40 millisecondi usando la sola CPU, con un incremento di velocità di 3,4 volte rispetto a PyTorch. Non è una differenza marginale: su un carico interattivo o su un flusso di richieste continuo, quel divario cambia la percezione di reattività e, soprattutto, il costo dell’infrastruttura necessaria.

Il punto non è che la CPU sia diventata la scelta migliore per ogni modello. I Large Language Models di grandi dimensioni restano fuori portata per il solo processore, ma esiste una fascia ampia di modelli più piccoli, quantizzati o distillati, dove l’ottimizzazione del runtime fa la differenza tra un servizio utilizzabile e uno che richiede una GPU. OpenVINO, il toolkit open source di Intel, lavora proprio su questo piano: sfrutta le istruzioni delle CPU moderne, applica tecniche di quantization e riduce il lavoro superfluo nella fase di inference. PyTorch, come framework generalista, offre flessibilità nello sviluppo ma non sempre il miglior percorso di esecuzione su CPU: il risultato di Laya conferma quanto margine ci sia quando si passa a un motore specializzato.

Per chi valuta un deployment on-premise o self-hosted, il dato ha implicazioni strutturali. Le GPU restano la risorsa più costosa e più difficile da approvvigionare, mentre i server basati su CPU sono diffusi, più semplici da gestire e spesso già presenti nei data center aziendali. Se un modello compatto può rispondere in 40 ms su CPU, il TCO scende in modo sensibile: meno energia per l’acceleratore, nessuna dipendenza da fornitori di GPU, maggiore prevedibilità nella manutenzione. Non è una questione di prestazioni assolute, ma di rapporto tra latenza, throughput e spesa operativa.

C’è anche un aspetto di sovranità e controllo. Un’organizzazione che deve tenere i dati all’interno dei propri confini può evitare di spostare carichi sensibili verso il cloud e mantenere il servizio su macchine locali senza sacrificare la reattività. La demo con Flappy Bird inclusa nel repository suggerisce un uso interattivo, ma il principio si estende a casi più seri: assistenti interni, automazione documentale, edge computing in ambienti con connettività limitata.

Il progetto non dichiara benchmark completi né confronti su modelli specifici: i numeri arrivano dal titolo e dal repository, quindi vanno presi come punto di partenza. Tuttavia, il segnale è chiaro: l’inference su CPU non è un ripiego, ma un campo in cui l’ottimizzazione software può ribaltare le assunzioni di costo. Chi vince sono i team che devono fare di più con server già pagati; chi perde sono le narrative che legano la qualità dell’AI alla presenza obbligatoria di una GPU.