LLM aperti con elevati parametri e contesti lunghi vengono eseguiti sempre più su hardware consumer ed edge grazie a quantization aggressiva, pruning e runtime dedicati. L’ecosistema attorno a llama.cpp e agli stack locali integra rapidamente nuovi modelli, supporto MTP e moduli decisionali.
Un utente ha assemblato un setup di inference interamente locale con GLM 5.3 Flash su due DGX Spark, usando vLLM con parallelismo tensoriale a due vie. I numeri dichiarati: prefill a circa 1.500 token/s e decode a circa 40 token/s con 100mila token d...
Un progetto GitHub esegue un LLM Qwen3.5-9B INT4 su FPGA SQRL ex-mining. Con due FK33 a 75 MHz si ottengono 3,2 token/s in generazione a contesti brevi e 2,4 token/s tra 2k e 3k token. Le stime per Qwen3.8-27B arrivano a 25 token/s con quattro die XC...
Aleph Alpha pubblica la scheda di Kolibri-1: 78 miliardi di parametri totali, 3,46 miliardi attivi e contesto da 1 milione di token con licenza Apache 2.0. L'analisi AI-RADAR mostra come il vincolo si sposti dal calcolo alla memoria e alla cache KV, ...
Runtime ultra-specializzati come Strata e ninfer rinunciano alla generalità di llama.cpp e vLLM per ottimizzare pochi modelli e una singola famiglia hardware. La scommessa: massimo output da configurazioni locali fisse, anche a costo di codice usa e ...
Il progetto Kyojin porta due modelli MoE da circa 300 miliardi di parametri su un singolo mini PC con AMD Strix Halo e 128 GB di memoria. Misurati su Ryzen AI Max+ 395, GLM-5.3-Flash e MiMo-V2.6-Flash raggiungono prefill fino a 650 token/s e decode f...
Aleph Alpha pubblica Kolibri-1, un LLM da 78 miliardi di parametri con 3,46 miliardi attivi per token e contesto fino a 1 milione di token, sotto Apache 2.0. La combinazione tocca tre vincoli dei deployment self-hosted: memoria, calcolo e licenza. Ma...
Una pull request nel repository llama.cpp introduce un'ottimizzazione che dimezza la memoria dell'indice di scoring per Qwen Flash Next. Il cambiamento, segnalato su Reddit, si traduce in un minore uso di VRAM durante l'inference. Per i deployment on...
Il progetto llama.cpp ha annunciato una nuova funzionalità denominata Decision Models, segnalando un ampliamento oltre la generazione testuale pura. Per chi gestisce Large Language Models in locale, la mossa suggerisce una maturazione verso output pi...
La pull request #29818 di ngxson introduce /v1/systemone nel server di llama.cpp e cita cinque modelli GGUF: Laya, Julia-1, Lev, OpenJev e Kev-4B. Nessun dettaglio tecnico, ma per i deployment self-hosted l'ampliamento delle API apre interrogativi su...
La pull request #29761 di am17an introduce in llama.cpp il supporto MTP per Qwen Flash Next, con quantization GGUF già disponibili su Hugging Face. Un segnale per chi valuta stack locali: l'ecosistema self-hosted accorcia i tempi tra rilascio del mod...
Una pull request riapre l'integrazione MTP per Qwen Flash Next in llama.cpp, con quantizzazioni GGUF disponibili su Hugging Face. Il lavoro è ancora WIP; per chi esegue LLM in locale diventa un banco di prova per ridurre la latenza senza cambiare har...
Secondo la segnalazione, Ling-3.1-flash combina 560 miliardi di parametri totali, 25 miliardi attivi per token e una finestra di contesto fino a un milione di token, con due settimane di prova gratuita e poi rilascio open source. Il profilo suggerisc...
La pull request #27773 di timkhronos integra GLM-5.3-Flash (GLM5-Next) in llama.cpp. Il modello diventa eseguibile su computer domestici, senza cloud. Un segnale per chi valuta deployment on-premise: i runtime open source si consolidano come canale d...
AMD introduce PerfOpt in Linux 7.4 per migliorare le prestazioni AI/LLM sulle Radeon integrate. I benchmark mostrano incrementi del 18-23% su hardware Ryzen, soprattutto entry-level. Un segnale per chi valuta l'inference locale: le iGPU diventano un'...
Il nuovo EPYC a 256 core porta una banda memoria pari al 91% di una RTX 5090 con controller a 16 canali DDR5-12800. La community LocalLLaMA reagisce tra sarcasmo e realismo per i costi dei moduli RDIMM ad alta densità e per il dubbio su quanti token ...
ISTA DASLab ha distribuito GGUFs quantizzati per Qwen3.8-Flash-Next e una variante Coder con metà degli expert rimossi. La combinazione GSQ e RCO porta il working set residente a 29,6 GB, dentro un acceleratore da 32 GB, con benchmark vicini o superi...
