La segnalazione arriva da Reddit, firmata dall'utente /u/bolts98, e non offre dettagli tecnici: parla di Oh My Pi e della possibilità di usare modelli custom con vLLM, llama.cpp e SGLang. Basta però il titolo per capire che il progetto tocca un nervo scoperto del deployment locale: il piano dell'inference è ancora diviso tra runtime con filosofie diverse, e chi vuole un ambiente unico deve costruirsi un livello di compatibilità.

vLLM, llama.cpp e SGLang non sono concorrenti intercambiabili. Il primo è pensato per servire LLM su GPU con molta VRAM, con attenzione al throughput e alla gestione della memoria; il secondo eccelle dove le risorse sono limitate, inclusi CPU e sistemi senza acceleratori dedicati, grazie anche alla quantization; il terzo spinge su batching, scheduling e generazione strutturata. Mettendoli insieme, Oh My Pi sembra riconoscere che nessuno dei tre copre da solo tutti gli scenari di un'infrastruttura self-hosted.

La notizia non è quindi l'annuncio di un nuovo runtime: è il segnale che l'astrazione del serving sta diventando un prodotto a sé. Chi gestisce modelli custom on-premise ha bisogno di spostarsi tra backend in base all'hardware, ai carichi e ai vincoli di latenza. Questa convivenza sposta il valore dal singolo motore di inference alla capacità di orchestrare più motori dietro un'interfaccia coerente. È un cambiamento strutturale: per anni si è cercato il runtime definitivo, ora si cerca il modo di rendere il runtime irrilevante.

Le conseguenze si vedono su più livelli. Sul piano operativo, chi adotta un approccio multi-backend riduce il lock-in verso un singolo fornitore, ma eredita complessità: configurazione, monitoraggio e aggiornamenti vanno replicati su più componenti. Sul piano economico, la possibilità di passare da vLLM a llama.cpp può determinare un TCO molto diverso, perché consente di riusare hardware già presente o di spostare carichi leggeri su macchine meno costose. Sul piano della sovranità, avere più opzioni self-hosted rafforza la posizione di chi non vuole dipendere da API cloud, anche se il prezzo da pagare è una maggiore competenza interna.

A guadagnarci sono i team che hanno competenze di orchestrazione e infrastruttura: per loro la frammentazione non è un problema ma una leva. A perderci, almeno in parte, sono le soluzioni verticali che pretendono di imporre un unico modo di servire i modelli: la direzione indicata da progetti come Oh My Pi suggerisce che il mercato self-hosted premierà integrazione e adattabilità, non chiusura.

Resta da capire, leggendo il codice e non solo il titolo, quanto Oh My Pi riesca a nascondere le differenze tra i tre runtime. Il punto non è se vLLM supererà llama.cpp o SGLang: è se l'ecosistema locale saprà costruire strati di gestione abbastanza robusti da rendere la scelta del backend un dettaglio, non una decisione architetturale.