Un ritorno alle origini: patch diretta contro l'estendibilità

Lo sviluppatore noto per scx_flow, uno scheduler basato su sched_ext, ha deciso di non proseguire su quella strada. Per il suo nuovo progetto, Infinity Scheduler, è tornato all'approccio tradizionale: un insieme di patch che modificano direttamente il Completely Fair Scheduler (CFS) e il comportamento Real-Time (RT) del kernel Linux. Non è la prima volta che la comunità tenta di migliorare lo scheduling della CPU, ma la scelta di rinunciare al framework estensibile BPF e intervenire chirurgicamente sul kernel riapre interrogativi concreti su manutenibilità, prestazioni e adozione.

Cosa cambia in CFS e RT

CFS è lo scheduler predefinito di Linux dal 2007, pensato per bilanciare l'allocazione della CPU tra processi in modo equo. RT serve invece a gestire task con scadenze temporali stringenti. Modificarli significa agire sulla spina dorsale del sistema operativo, influenzando latenza, throughput e reattività di ogni workload. A differenza di soluzioni basate su sched_ext — che caricano la logica di scheduling in un programma BPF senza toccare il kernel — Infinity Scheduler si integra direttamente nel codice sorgente, offrendo potenzialmente un controllo più fine ma richiedendo un rebase continuo a ogni nuova release. I dettagli tecnici non sono ancora stati divulgati in modo esaustivo, ma l'approccio suggerisce un'attenzione particolare alla riduzione dei tempi di latenza e alla gestione dei colli di bottiglia NUMA, elementi critici per server multi-socket.

Perché interessa a chi fa girare LLM in locale

I carichi di lavoro legati all'intelligenza artificiale, in particolare l'inference di Large Language Models su CPU, sono estremamente sensibili alla qualità dello scheduling. Strumenti come llama.cpp sfruttano tutti i core disponibili e richiedono un'allocazione efficiente per evitare che i thread si contendano risorse in modo disordinato, aumentando la latenza di generazione dei token. In ambienti on-premise, dove il Total Cost of Ownership passa anche dalla saturazione delle macchine, uno scheduler capace di ridurre i tempi di attesa e migliorare il parallelismo su architetture NUMA può fare la differenza tra un deployment sostenibile e uno che spreca risorse. Infinity Scheduler, intervenendo su CFS e RT, potrebbe offrire guadagni proprio su questi fronti, pur con l'incognita di non essere upstream.

Fuori dall'albero ufficiale: la partita a scacchi dei manutentori

La scelta di non usare sched_ext ha un costo: le patch fuori dall'albero principale richiedono un impegno costante per rimanere compatibili con il kernel in evoluzione. Gli scheduler basati su BPF, invece, possono essere aggiornati come programmi userspace, semplificando distribuzione e manutenzione. Tuttavia, chi punta alla massima performance spesso privilegia la modifica diretta, consapevole che l'integrazione nel kernel potrebbe non arrivare mai. In un contesto locale e self-hosted, dove gli amministratori possono controllare la propria infrastruttura e non devono aderire a standard cloud, queste patch trovano terreno fertile. La domanda aperta è se, con un ecosistema di scheduler estensibili già in espansione, la strada dell'Infinity Scheduler rappresenti un'alternativa percorribile o un vicolo cieco.

La notizia arriva in un momento in cui l'attenzione per l'efficienza infrastrutturale è altissima. Chi gestisce server dedicati all'AI on-premise monitorerà con interesse le prime metriche, consapevole che ogni millisecondo guadagnato sullo scheduling si traduce in token generati più rapidamente e, in ultima analisi, in un migliore ritorno sull'investimento hardware.