Il panorama dei Large Language Models (LLM) continua a evolvere rapidamente, con un'attenzione crescente verso soluzioni che bilanciano performance, costi e controllo sui dati. In questo contesto, l'esperienza di un utente con il nuovo modello LFM2.5-24-A2B di LiquidAI offre spunti interessanti, in particolare per chi valuta deployment on-premise.

Il modello, con 24 miliardi di parametri, è stato testato su una GPU AMD W7900, sfruttando llama.cpp e l'accelerazione ROCM. I risultati preliminari indicano performance notevoli, con una velocità sostenuta di circa 95 token al secondo (tps). Questo dato è significativo, soprattutto considerando che il modello, nella sua versione quantizzata a 8-bit (Q8), occupa 30GB di VRAM per gestire un'ampia finestra di contesto di 128.000 token. La capacità di mantenere un contesto così esteso su hardware locale, con requisiti di VRAM gestibili per schede professionali o di fascia alta, rappresenta un vantaggio competitivo per scenari dove la sovranità dei dati e la latenza sono critiche.

L'utente ha confrontato LFM2.5-24-A2B con il precedente Ornith 1.5-35B, riscontrando che il nuovo modello si comporta egregiamente, dimostrandosi un "cavallo da battaglia" affidabile per compiti meccanici e ricorsivi, anche di lunga durata. Sebbene l'analisi per compiti che richiedono "insight" più profondi sia ancora in corso, la velocità e la stabilità attuali lo rendono un candidato ideale per affiancare modelli più grandi o complessi, delegando le operazioni più routinarie e liberando risorse preziose.

Implicazioni per l'ecosistema on-premise

Questa esperienza sottolinea una tendenza strutturale nel settore: la crescente fattibilità di eseguire LLM performanti su infrastrutture locali, anche al di fuori dell'ecosistema NVIDIA. La compatibilità con ROCM e llama.cpp su hardware AMD W7900 non è solo una nota tecnica, ma un segnale forte per le aziende che cercano di diversificare i propri fornitori di silicio e ridurre la dipendenza da un singolo vendor. Per CTO e architetti di infrastruttura, ciò significa maggiori opzioni nella progettazione di stack AI locali, con potenziali benefici in termini di Total Cost of Ownership (TCO) e flessibilità.

La possibilità di gestire un modello da 24B con 128k di contesto su 30GB di VRAM apre scenari interessanti per applicazioni che richiedono l'elaborazione di grandi volumi di testo o codice in ambienti air-gapped o con stringenti requisiti di compliance. Non si tratta solo di risparmiare sui costi del cloud, ma di ottenere un controllo granulare sull'intera pipeline di inference, dalla selezione dell'hardware alla gestione del software. Questo approccio favorisce l'innovazione interna e la creazione di soluzioni AI personalizzate, mantenendo i dati sensibili all'interno del perimetro aziendale.

L'emergere di modelli come LFM2.5-24-A2B, ottimizzati per l'inference locale su hardware diversificato, indica che il mercato degli LLM sta maturando oltre la fase iniziale dominata da pochi attori e infrastrutture monolitiche. La competenza di questi "piccoli" modelli per compiti specifici, unita alla loro efficienza su piattaforme alternative, spinge verso architetture ibride e distribuite, dove il valore non risiede solo nella dimensione del modello, ma nella sua capacità di integrarsi efficacemente in un ecosistema IT esistente.