llama.cpp, release GGUF, decodifica speculativa e strumenti di quantization stanno maturando rapidamente, riducendo l'attrito per i modelli self-hosted.
La nuova release di llama.cpp, con sorgenti e build precompilate, segna una tappa per l'inference self-hosted. Meno attrito per sviluppatori e aziende che vogliono eseguire LLM in locale, più pressione sui servizi cloud-only.
Un esperimento nato su Reddit fonde Qwen3.8 e Qwen3.6 in un file GGUF. Supera solo uno smoke test, ma mostra come la modularità dei LLM self-hosted stia cambiando incentivi, governance e costi di validazione.
Un esperimento di merge tra Qwen3.8-27B e Qwen3.6-27B, condotto partendo da un file GGUF con quantization Q6_K_XL, ha prodotto QwenMix-3.7. L'autore segnala la compatibilità strutturale tra i due modelli, differenziati nell'addestramento da soli sett...
Uno sviluppatore ha ridotto Qwen3.8-27B a 22,7 miliardi di parametri con pruning di profondità, senza fine-tuning. Distribuito solo in MLX per Apple Silicon, mostra trade-off: meno pressione su memoria e calcolo, ma perdite nei casi limite. Per l'on-...
Uno sviluppatore ha applicato un pruning di profondità a Qwen3.8-27B, portandolo a circa 22,7 miliardi di parametri senza fine-tuning. Il modello, disponibile in versioni bf16, q8 e q4 su MLX, gestisce coding, uso agentico e conversazioni multi-turno...
Sono comparsi su Hugging Face tre nuovi modelli Ornith 1.5: 9B, 35B-A3B e 397B, tutti con versioni GGUF. La disponibilità immediata del formato quantizzato segnala un'attenzione diretta al deployment locale e self-hosted, spingendo a riflettere sui t...
La seconda versione di DFlash non arriva con un annuncio ma con la PR 27342 su llama.cpp e i quantizzati GGUF già pronti per Qwen 3.8 27B e Muse Glimmer. AI-Radar analizza il cambio di baricentro: il vero collo di bottiglia dell'on-premise non è il m...
Gli autori originali dei quantizzati GGUF di DFlash hanno pubblicato una seconda versione insieme a una pull request per llama.cpp. Il pacchetto copre Qwen 3.8 27B e Muse Glimmer, segnalando un'integrazione stretta tra ottimizzazioni di modello e run...
La recente pubblicazione dei pesi aperti del modello Qwen 2.4T Max, pur richiedendo risorse hardware estreme come cluster B200, segna un passo cruciale per la comunità AI locale. Sebbene il deployment on-premise sia complesso per la versione più gran...
La piattaforma Hugging Face ha superato i tre milioni di modelli pubblicati sull'Hub. Il numero include versioni quantizzate, fine-tuning e conversioni, più che modelli base distinti. Per chi gestisce stack locali, il traguardo sposta il collo di bot...
Il progetto abbandona i numeri di build sequenziali e adotta il versioning semantico. Un cambiamento che pesa soprattutto nei contesti self-hosted e on-premise, dove la prevedibilità delle API e la stabilità delle pipeline di inference contano più de...
Il framework per LLM eterogenei KTransformers pubblica la versione 0.7 con supporto AVX-512 esteso, un intervento mirato sui server AMD EPYC. Per chi opera in self-hosted, il messaggio è strutturale: la CPU non è più un ripiego, ma una componente att...
Un breve post di ringraziamento riporta l'attenzione su Georgi Gerganov, creatore di llama.cpp. Il progetto open source ha trasformato l'approccio all'esecuzione di Large Language Models su hardware comune, abbattendo barriere per deployment self-hos...
