I recenti progressi di llama.cpp, inclusi accelerazioni significative su GPU Intel e supporto per predizione multi-token, insieme a una nuova ondata di modelli MoE e ternari open-weight, stanno rendendo l'inference LLM locale di alta qualità più accessibile ed efficiente.
Una manciata di righe di codice in llama.cpp moltiplica fino a 2,7 volte le prestazioni delle GPU Intel Battlemage su contesti di 118.000 token quando la cache KV è quantizzata. Il guadagno è talmente netto da trasformare una scheda da gaming in un’a...
Una PR di llama.cpp modifica il dispatch SYCL da VEC a TILE per cache KV quantizzate, portando a un incremento fino al 169% nella velocità di decodifica su GPU Intel Battlemage a contesti lunghi. I test mostrano guadagni significativi già a 32K, apre...
Alibaba ha lanciato Qwen3.8-Max, un modello da 2.4 trilioni di parametri con architettura MoE, mentre DeepSeek propone V4-Flash a $0,14 per milione di token in input. Entrambi distribuiscono i pesi in modalità open-weight, abilitando deployment on-pr...
I benchmark locali di un utente mostrano DeepSeek V4 Flash 0731 in formato MXFP4 al top per efficienza e qualità, raggiungendo 1.000 token/s in prefill e 90 token/s in generazione. Un risultato che accende i riflettori sulla quantization a bassa prec...
Maple-Preview porta i pesi ternari su 20 miliardi di parametri, occupando solo 5 GB e attivando 1 miliardo di parametri per token con un design MoE-like. La preview apre a inference locale su GPU consumer, ma il supporto dei framework è ancora acerbo...
Maple-Preview è un nuovo modello open-weight da 20 miliardi di parametri, con soli 1 miliardo di attivi per token e pesi in quantization ternaria. La combinazione riduce drasticamente la VRAM necessaria per l’inference, avvicinando scenari on-premise...
InclusionAI ha rilasciato i pesi di Ling-3.0-flash su Hugging Face. Il modello conta 127,5 miliardi di parametri con un'architettura a 512 esperti, di cui solo 8 attivi per token. La vera notizia è la versione FP8 ufficiale: 128GB, sufficienti per un...
InclusionAI ha rilasciato Ling-3.0-flash, un modello MoE open-weight da 124 miliardi di parametri con appena 5 miliardi attivi per token. Annunciato prima dell’ondata Kimi K3 e DeepSeek-V4-Flash, il suo dimensionamento potrebbe ritagliargli una nicch...
Una pull request elimina il round-trip CPU-GPU per il sampling MTP in llama.cpp. Su una RTX 5090 il guadagno sfiora l’8%, su una Tesla P40 è del 4% a causa della banda memoria ridotta. Un miglioramento netto senza costi aggiuntivi per chi fa inferenc...
Una domanda su Reddit sul passaggio a llama.cpp rivela molto più di un cambio di interfaccia: è il momento in cui l’inference locale passa dall’esplorazione individuale a stack pronti per l’azienda, con controllo, riproducibilità e automazione.
Il runtime che alimenta milioni di LLM locali aggiunge il supporto alla predizione multi-token per il modello MoE di DeepSeek, azzerando la latenza e rafforzando la tesi del self-hosted come alternativa matura al cloud.
Una segnalazione su Reddit mette in guardia gli utenti di DeepSeek-V4-Flash: il template di chat non supporta messaggi di sistema inframezzati. Ogni messaggio viene issato in cima, invalidando la cache del prefisso e aumentando costi e latenza, anche...
