Non è solo una questione di GPU. Quando si parla di deployment locale di modelli, l'attenzione si concentra quasi sempre su VRAM, bandwidth e throughput dei token. Ma c'è un altro strato, più silenzioso, che può fare la differenza tra un servizio reattivo e uno che arranca: il filesystem. EROFS, il filesystem read-only sviluppato da Huawei e integrato nel kernel Linux, ha ricevuto una serie di ottimizzazioni specifiche per i dataset AI, in particolare quelli di grandi dimensioni e con strutture sparse. La notizia, emersa dagli aggiornamenti del kernel, segna un punto di attenzione crescente verso l'infrastruttura di storage come componente attiva delle pipeline di inference.

Perché i dataset sparsi sono un banco di prova

I modelli moderni, soprattutto nel deep learning, producono spesso rappresentazioni interne con moltissimi zeri o valori nulli. Quando questi vengono salvati su disco, la presenza di “buchi” in file di decine o centinaia di gigabyte stressa i tradizionali meccanismi di allocazione. EROFS, nativamente ottimizzato per la lettura in ambienti containerizzati e dispositivi embedded, ora gestisce in modo più efficiente i file sparsi: riconosce le regioni vuote e le mappa senza consumare spazio reale, accelerando nel contempo le operazioni di lettura sequenziale e random.

Ciò ha un impatto diretto su chi fa self-hosting di LLM: i checkpoint dei modelli, spesso salvati in formati come safetensors o PyTorch, contengono estese sezioni di zeri dovute al pruning o alla quantization. Poterli montare con un filesystem che evita letture superflue riduce il time-to-first-token e alleggerisce il carico sulla catena di I/O, dai dischi NVMe fino alla CPU.

EROFS e la sovranità dello stack

A differenza di soluzioni come SquashFS o ext4 in modalità read-only, EROFS è stato progettato con un occhio alla latenza e alla compressione trasparente. Negli scenari on-premise più stringenti — air-gapped, edge industriali, ambulanze digitali — montare i modelli su un volume read-only non è solo una comodità: è una garanzia di immutabilità che semplifica audit e compliance. La nuova gestione dei dataset AI sparsi rende il filesystem ancora più adatto a queste installazioni, dove la prevedibilità dell'I/O è cruciale quanto la potenza di calcolo.

L’analisi: oltre il benchmark, il segnale

L’evoluzione di EROFS va letta nel framework più ampio: il kernel Linux sta assorbendo sempre più ottimizzazioni pensate per carichi di lavoro AI. Non si tratta solo di driver GPU o di scheduler, ma di componenti fondamentali come il filesystem. Per le organizzazioni che valutano il TCO di un’infrastruttura on-premise, questo significa che la piattaforma Linux continua a ridurre la necessità di soluzioni storage proprietarie, offrendo mattoni open-source sempre più performanti. In un momento in cui il costo dei dischi e della banda interna è una voce significativa del costo totale, ogni guadagno in efficienza si traduce in un vantaggio competitivo. Chi progetta deployment ibridi o completamente auto-gestiti farebbe bene a seguire questi sviluppi: la prossima release del kernel potrebbe nascondere qualche sorpresa per i tuoi tempi di caricamento.