Un numero crescente di aziende e sviluppatori si orienta verso modelli AI eseguiti localmente per garantire sovranità dei dati, costi prevedibili e indipendenza dalle API cloud.
Il confronto tra Qwen e Gemma svela che la resilienza alla quantization conta più dei benchmark grezzi. Per chi fa inference locale, il quantization-aware training ridisegna hardware, TCO e sovranità dei dati: un'analisi delle implicazioni struttural...
PrismML ha quantizzato il modello Qwen3.6-27B fino a 1 bit, portandolo da 54 GB a 3,9 GB. Bonsai 27B gira su un iPhone 15 Pro Max con 8 GB di RAM, mantenendo il ~90% delle prestazioni benchmark. La matematica regge, ma conoscenza e ragionamento calan...
OpenLLM-France rilascia Luciole-23B-Instruct-1.1, un modello causale multilingue con licenza Apache 2.0 disponibile anche nei tagli da 8B e 1B. Addestrato sul supercomputer Jean Zay in tre fasi, copre matematica, codice, RAG e traduzione. La novità n...
Dopo oltre un anno di sviluppo arriva la prima release stabile di ExLlamaV3, ricca di ottimizzazioni che vanno dritte al cuore dei colli di bottiglia per chi fa girare LLM su hardware proprio. L'addio a flash-attn e xformers, nuovi kernel per attenti...
Un ringraziamento della community per un traguardo simbolico di llama.cpp racconta molto più di un semplice aggiornamento software: è il segnale che l'inference locale su hardware comune è ormai una realtà produttiva, capace di ridefinire strategie d...
