Quando Danmoreng ha iniziato a sperimentare con un motore di inference personale su una RTX 5080 da 16 GB per laptop, llama.cpp era il punto di riferimento da battere. Qualche mese fa, all'epoca in cui Ninfer era appena uscito, risultava piuttosto semplice ottenere prestazioni superiori a llama.cpp con un progetto fai-da-te: llama.cpp era considerato lento rispetto a sistemi come vLLM, che però sprecava molta VRAM. Oggi lo scenario è cambiato. Un nuovo benchmark condotto dallo stesso autore mostra che llama.cpp ha recuperato il divario e ha addirittura superato il suo motore "vibe-coded".
Il test non ha pretese scientifiche: prefill fisso di 16k token e output di 1k token su testo di Wikipedia, con impostazioni ottimali per ciascun motore. Per il modello da 12B il checkpoint è identico, mentre per il 26B si usano quantizzazioni diverse tra i motori, quindi il confronto non è del tutto omogeneo. Eppure, nonostante questa disparità, llama.cpp risulta vincente. L'autore lo accoglie con favore: preferisce usare un motore stabile e con funzionalità complete piuttosto che una serie di progetti "vibe-coded", incluso il proprio.
La notizia va oltre l'aneddoto personale. Segnala un cambiamento strutturale nel panorama dei runtime per LLM self-hosted. Per mesi, chi voleva eseguire modelli localmente su GPU consumer si trovava di fronte a un trade-off: vLLM offriva throughput elevato ma consumava VRAM in modo inefficiente, rendendolo poco adatto a hardware con 16 GB; llama.cpp era più parsimonioso ma spesso troppo lento per carichi di lavoro sostenuti. I miglioramenti incrementali di llama.cpp stanno restringendo questo divario, rendendo meno conveniente investire tempo nello sviluppo di motori custom.
C'è un' implicazione di secondo ordine: se un framework maturo e open source come llama.cpp offre prestazioni competitive, gli sviluppatori possono concentrarsi sulla logica applicativa invece che sull'ottimizzazione del runtime. Questo riduce la frammentazione e accelera l'adozione di soluzioni self-hosted stabili. Per chi valuta deployment on-premise, il calcolo del TCO cambia: meno ore di sviluppo per mantenere un motore custom, meno necessità di hardware con VRAM abbondante, e la possibilità di sfruttare GPU consumer per modelli da 12B o 26B con quantization adeguata.
Inoltre, la preferenza dichiarata dall'autore per motori "stabili con funzionalità adeguate" riflette una tendenza più ampia nel settore: dopo la fase esplorativa dei runtime sperimentali, la comunità sta convergendo verso strumenti mantenuti, documentati e aggiornati con regolarità. Non è solo una questione di performance grezze, ma di affidabilità nel tempo e di sicurezza per chi gestisce dati sensibili localmente.
Il segnale per il mercato dell'inference on-premise è duplice. Da un lato, vLLM resta un riferimento per ambienti data center con GPU ad alta memoria e carichi parallelizzati; dall'altro, llama.cpp sta diventando la scelta naturale per edge, laptop e workstation con vincoli di VRAM. La sovranità dei dati esce rafforzata: modelli quantizzati eseguibili in locale senza dipendenze cloud diventano più pratici quando il runtime non è più il collo di bottiglia.
Il benchmark di Danmoreng è imperfetto, ma la direzione è chiara. I guadagni incrementali di un progetto open source maturo valgono più delle ottimizzazioni sporadiche di motori fatti in casa. Per chi osserva il deployment locale di LLM, questo è un segnale che conviene investire su fondamenta solide invece di inseguire ogni nuova scorciatoia prestazionale.
💬 Commenti (0)
🔒 Accedi o registrati per commentare gli articoli.
Nessun commento ancora. Sii il primo a commentare!