llama.cpp e runtime affini aggiungono rapidamente supporto modelli, quantization, MTP, decision model e ottimizzazioni di memoria per LLM locali. Nuovi rilasci di modelli aperti e runtime specializzati estendono la portata pratica dell'AI self-hosted.
Aleph Alpha pubblica la scheda di Kolibri-1: 78 miliardi di parametri totali, 3,46 miliardi attivi e contesto da 1 milione di token con licenza Apache 2.0. L'analisi AI-RADAR mostra come il vincolo si sposti dal calcolo alla memoria e alla cache KV, ...
Runtime ultra-specializzati come Strata e ninfer rinunciano alla generalità di llama.cpp e vLLM per ottimizzare pochi modelli e una singola famiglia hardware. La scommessa: massimo output da configurazioni locali fisse, anche a costo di codice usa e ...
Aleph Alpha pubblica Kolibri-1, un LLM da 78 miliardi di parametri con 3,46 miliardi attivi per token e contesto fino a 1 milione di token, sotto Apache 2.0. La combinazione tocca tre vincoli dei deployment self-hosted: memoria, calcolo e licenza. Ma...
Una pull request nel repository llama.cpp introduce un'ottimizzazione che dimezza la memoria dell'indice di scoring per Qwen Flash Next. Il cambiamento, segnalato su Reddit, si traduce in un minore uso di VRAM durante l'inference. Per i deployment on...
Il progetto llama.cpp ha annunciato una nuova funzionalità denominata Decision Models, segnalando un ampliamento oltre la generazione testuale pura. Per chi gestisce Large Language Models in locale, la mossa suggerisce una maturazione verso output pi...
La pull request #29818 di ngxson introduce /v1/systemone nel server di llama.cpp e cita cinque modelli GGUF: Laya, Julia-1, Lev, OpenJev e Kev-4B. Nessun dettaglio tecnico, ma per i deployment self-hosted l'ampliamento delle API apre interrogativi su...
Un'estensione per Pi.dev consente di saltare la fase di reasoning di un Qwen 27B in esecuzione locale con llama.cpp, usando lo stesso meccanismo nativo dell'interfaccia web. Con /skip-reasoning o Alt+T si ottiene subito l'output, ma l'autore avverte:...
La pull request #29761 di am17an introduce in llama.cpp il supporto MTP per Qwen Flash Next, con quantization GGUF già disponibili su Hugging Face. Un segnale per chi valuta stack locali: l'ecosistema self-hosted accorcia i tempi tra rilascio del mod...
Una pull request riapre l'integrazione MTP per Qwen Flash Next in llama.cpp, con quantizzazioni GGUF disponibili su Hugging Face. Il lavoro è ancora WIP; per chi esegue LLM in locale diventa un banco di prova per ridurre la latenza senza cambiare har...
Secondo la segnalazione, Ling-3.1-flash combina 560 miliardi di parametri totali, 25 miliardi attivi per token e una finestra di contesto fino a un milione di token, con due settimane di prova gratuita e poi rilascio open source. Il profilo suggerisc...
La pull request #27773 di timkhronos integra GLM-5.3-Flash (GLM5-Next) in llama.cpp. Il modello diventa eseguibile su computer domestici, senza cloud. Un segnale per chi valuta deployment on-premise: i runtime open source si consolidano come canale d...
ISTA DASLab ha distribuito GGUFs quantizzati per Qwen3.8-Flash-Next e una variante Coder con metà degli expert rimossi. La combinazione GSQ e RCO porta il working set residente a 29,6 GB, dentro un acceleratore da 32 GB, con benchmark vicini o superi...
Un utente racconta come un modello Qwen 3.8 Flash Next su due RTX 3090 abbia superato GPT-5.6 Luna in un progetto reale, dopo essere stato collegato a Codex CLI. Il risultato riapre il dibattito su quale strato conti davvero nel deployment locale: no...
