Nella corsa a modelli sempre più grandi, Poolside sceglie una strada diversa: non solo annuncia Laguna-S-2.1, un LLM da 120 miliardi di parametri pensato per la generazione di codice, ma lo fa accompagnare da una vera e propria cassetta degli attrezzi per l’inference locale. Su Hugging Face compaiono subito i file in formato GGUF e un fork dedicato di llama.cpp, il runtime che ha reso possibile far girare modelli su CPU e GPU consumer. Un dettaglio che cambia la prospettiva rispetto ai soliti lanci: non si parla solo di pesi grezzi, ma di un impianto pensato per chi vuole tenere il modello sotto il proprio controllo.

La scala del modello, 120 miliardi di parametri, lo colloca nella fascia alta dei code LLM, accanto a proposte come Code Llama 70B o StarCoder2 15B — ma con una densità computazionale che, a piena precisione FP16, richiederebbe circa 240 GB di VRAM per l’inference. Un vincolo che tradizionalmente relega queste architetture a cluster di GPU enterprise o ad API cloud. L’approccio di Poolside aggira l’ostacolo con la quantization immediata: i file GGUF già disponibili permettono di caricare il modello in formati compressi come Q4_K_M, riducendo il footprint a livelli gestibili su workstation con una o due schede di fascia alta, o su server multi-GPU senza dover ricorrere a configurazioni proibitive.

Il fork personalizzato di llama.cpp è la novità più intrigante. Normalmente, quando un produttore distribuisce un modello, si affida al lavoro della comunità per adattare il runtime. Qui invece Poolside interviene direttamente sul motore di esecuzione, suggerendo che Laguna-S-2.1 sfrutti architetture o ottimizzazioni non ancora presenti nella versione principale di llama.cpp. Potrebbe trattarsi di un’estensione per gestire al meglio il contesto lungo o per sfruttare istruzioni specifiche delle GPU più recenti. In ogni caso, segnala una volontà precisa: rendere l’inference locale non un ripiego, ma la modalità di fruizione privilegiata.

Questa mossa ha implicazioni strutturali. Per i team che valutano un deployment on-premise di modelli di codice, la disponibilità di un binario già ottimizzato e di una ricetta di quantization già testata taglia il costo di ingresso. Non serve una pipeline di conversione fai-da-te né sperimentazione sul formato: si scarica, si lancia il runtime dedicato e si inizia a generare. In termini di TCO, significa che il confronto tra self-hosted e cloud si sposta verso il capEx hardware, con latenze e costi operativi che diventano prevedibili fin dal primo giorno.

Chi segue l’evoluzione degli LLM on-premise sa che il vero freno non è quasi mai il modello in sé, ma il percorso per metterlo in produzione. Con Laguna-S-2.1, Poolside aggredisce proprio quel freno. E lo fa in un segmento, quello del codice, dove la privacy dei dati e la sovranità sono sempre più al centro delle valutazioni aziendali: passare stringhe di codice sorgente a un’API esterna resta un punto sensibile per molti settori.

Resta da capire come il modello si comporterà su benchmark pubblici, ma il messaggio è già chiaro: la competizione nel mondo dei code LLM si gioca anche sulla catena di tooling. Chi fornisce non solo il modello ma anche il motore su misura per eseguirlo localmente alza l’asticella per tutti gli altri.