Il co-fondatore di Cyanogen ha presentato Kora, un sistema operativo Linux progettato per dividere l'esecuzione dei modelli AI tra CPU, GPU e NPU. Non è un dettaglio tecnico marginale: sposta il baricentro dell'ottimizzazione dal singolo acceleratore all'intero sistema. Oggi molti deployment di inference si concentrano sulla GPU, perché è lì che i framework come PyTorch e TensorFlow trovano il throughput maggiore. Ma un approccio che coinvolge anche la NPU e la CPU cambia il calcolo del costo e dell'energia, soprattutto in contesti dove il dato deve restare in locale.

La tesi da osservare è che il sistema operativo, e non più solo il runtime o il framework, diventa il punto in cui si decide come suddividere il carico. Questo ha implicazioni di secondo ordine. Per i fornitori di silicio con NPU integrate — Apple, Qualcomm, Intel e altri — c'è un incentivo a esporre meglio le proprie unità di calcolo ai livelli superiori dello stack. Per NVIDIA, il dominio CUDA costruito sulle GPU discrete può essere eroso nelle fasce edge e nei piccoli nodi on-premise, dove il mix di processori è più comune. Non si tratta di una minaccia immediata al data center, ma di un allargamento del campo di gioco.

Per chi gestisce infrastrutture locali, Kora segnala una direzione concreta: estrarre più valore dall'hardware già presente. Un server o una workstation con CPU, GPU e NPU può diventare un nodo di inference più efficiente se il sistema operativo sa spostare i pesi e i calcoli dove conviene in quel momento. La quantization e il livello di VRAM necessario potrebbero non essere più l'unico parametro per dimensionare un sistema: conta anche la capacità dell'OS di orchestrare risorse eterogenee senza introdurre latenze insostenibili.

C'è però una complessità reale. Ogni NPU ha driver, compilatori e set di istruzioni diversi. Un OS che promette di astrarre questa frammentazione deve risolvere il problema dell'ottimizzazione per target multipli, altrimenti il vantaggio si perde in overhead di scheduling. È una sfida simile a quella che i runtime di serving hanno affrontato per le GPU, ma estesa a un parco hardware più vario. Chi valuta deployment on-premise dovrebbe seguire questo sviluppo con attenzione, perché tocca i trade-off tra costo, controllo e prestazioni. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti, ma la scelta finale dipende da vincoli specifici di carico, compliance e budget.

L'annuncio di Kora va quindi letto non come un prodotto isolato, ma come un segnale strutturale: il prossimo fronte dell'AI infrastrutturale potrebbe non essere solo un nuovo chip più veloce, ma un sistema operativo capace di usare meglio quelli che già abbiamo.