Un'ondata di tecniche di quantization, architetture MoE e ottimizzazioni hardware sta permettendo di eseguire potenti LLM direttamente su GPU consumer, smartphone e single-board computer, tagliando i costi infrastrutturali e portando la sovranità dei dati a portata di mano.
Unsloth Desktop è la prima applicazione open source per eseguire e addestrare LLM in locale. Supporta Windows, macOS e Linux, con accelerazione su NVIDIA, AMD, Intel e Mac. Promette training 2× più veloce e riduce la VRAM del 70%. Integra ricerca pri...
Il nuovo modello Nemotron-3.5 Lightning 30B-A3B in formato BF16 arriva su Hugging Face. Una mossa che sposta il baricentro verso architetture MoE ultra-efficienti, pensate per chi fa girare LLM su hardware proprio, riducendo la dipendenza dal cloud s...
I nuovi Luth-2-0.8B e 2B fissano lo stato dell’arte per il francese, battendo modelli fino a tre volte più grandi in benchmark linguistici e matematici. Leggeri al punto da girare in locale, aprono scenari concreti per il deployment on-premise e la s...
Un esperimento dimostra che con 200 dollari su GPU noleggiate si può addestrare un LLM da 1,1 miliardi di parametri e distribuirlo su CPU o persino smartwatch. Il costo irrisorio riscrive il calcolo del TCO per le aziende che valutano soluzioni self-...
Un progetto personale mostra come addestrare da zero un modello linguistico da 1,1 miliardi di parametri su 20 miliardi di token con una spesa totale di circa 200 dollari. Il modello, poi ottimizzato con LoRA e quantizzato, gira su CPU e persino su u...
InclusionAI rilascia Ling-3.0-tiny, un MoE da 8 miliardi di parametri (soli 1,3 attivi) che raggiunge 100-105 token/s su DGX Spark e 86-90 su MacBook M4 Pro, con 8,34 GiB di picco a contesto 8K in FP8. Prestazioni da fascia media, ma l’efficienza har...
L'arrivo di Muse-Glimmer-30B nel formato GGUF non è solo il rilascio di un modello. È il segnale di un'infrastruttura di inference locale che si rafforza, spostando l'attenzione dai mega-modelli cloud alla praticità delle GPU in sede e alle pipeline ...
Un modello aperto di DeepMind, pubblicato su Nature, migliora le previsioni dei cicloni con un giorno di anticipo, ma la vera sorpresa è che gira su una NVIDIA H100. Il codice è su GitHub, segnando un punto di svolta per l'inference locale di modelli...
Pathway presenta BDH, un'architettura post-transformer che eguaglia le prestazioni di GPT-2 da 10 milioni a 1 miliardo di parametri, addestrandosi su hardware comune. Un promettente segnale per chi punta a self-hosted LLM senza vincoli hardware estre...
L'INT4 ufficiale di Ling-3.0-flash gira su una DGX Spark, ma con configurazione predefinita eroga 20.8 tok/s. Due interventi — disabilitare `--enforce-eager` per abilitare i cudagraph e attivare la decodifica speculativa MTP con un token — fanno balz...
Un utente ha fatto generare a DeepSeek un kernel Metal per eseguire Kimi K2 quantizzato su Mac Studio, ottenendo modeste prestazioni ma dimostrando che gli LLM possono colmare lacune software per l’inference self-hosted su hardware non-Nvidia. Il cas...
In 50 minuti un LLM ha scritto il codice per eseguire un modello quantizzato da 90 GB su un Mac Studio, senza kernel preesistenti. Prestazioni modeste ma sufficienti a dimostrare che l’hardware consumer può diventare un’alternativa credibile per l’in...
Un utente Hugging Face ha pubblicato una versione quantizzata di Kimi K3 che elimina il multilingua e applica IQ2-XXS via Unsloth, riducendo lo spazio da 711 a 478 GB. Dietro il dato tecnico si nasconde una lezione chiara per chi valuta deployment lo...
Un motore di inference in C99 senza dipendenze esterne spinge il modello ternario BitNet da 2 miliardi di parametri a 36,25 token al secondo su CPU Intel Xeon, usando SIMD custom e istruzioni VNNI. Ma il vero collo di bottiglia non è la CPU: a batch ...
Un utente esegue Kimi K3 su due cluster con llama.cpp e RPC, ricorrendo a offloading parziale e quantization IQ1_M. L’obiettivo? Accelerare del 2-3x unificando le GPU in un solo sistema e passare a Q2_K_XL, sperando che modelli come Qwen3.8 rendano s...
Un utente spinge al limite una Radeon AI Pro R9700 da 32 GB con i modelli Qwen3.6 ridotti a INT4. Il 35B MoE tocca 262mila token di contesto e 52 tok/s a 100k, mentre il 27B sfrutta il speculative decoding per mantenere 59 tok/s oltre i 50k di contes...
Una manciata di righe di codice in llama.cpp moltiplica fino a 2,7 volte le prestazioni delle GPU Intel Battlemage su contesti di 118.000 token quando la cache KV è quantizzata. Il guadagno è talmente netto da trasformare una scheda da gaming in un’a...
Un utente racconta l’esperienza con Qwen 3.6 27B in Q4 su un Apple M5, immaginando un futuro in cui ogni query passa prima dal proprio LLM locale. Tra costi cloud in crescita e modelli frontier insostenibili, l’attesa per un ipotetico Qwen 3.8 denso ...
Un test locale su hardware AMD mette a confronto Qwen 35B-A3B (MoE, 3B parametri attivi) e Qwen 27B denso. Il modello MoE genera ~116 token/s contro ~30 del denso, ma la differenza nella qualità del codice è minima, tranne che nei casi limite più ast...
Una PR di llama.cpp modifica il dispatch SYCL da VEC a TILE per cache KV quantizzate, portando a un incremento fino al 169% nella velocità di decodifica su GPU Intel Battlemage a contesti lunghi. I test mostrano guadagni significativi già a 32K, apre...
Un report indipendente analizza il modello LFM2.5-2.6B di LiquidAI su Raspberry Pi, testando decine di combinazioni di quantization GGUF e cache KV. I risultati mostrano che con 8 GB di RAM il degrado è trascurabile, ma alcuni quant nascondono cadute...
Il framework Wan-Animate-2 elimina gli estrattori di movimento e sfrutta un Diffusion Transformer end-to-end per generare animazioni fedeli in tempo reale. Grazie a una variante efficiente, la latenza scende a livelli di streaming. Il rilascio open s...
Alibaba ha lanciato Qwen3.8-Max, un modello da 2.4 trilioni di parametri con architettura MoE, mentre DeepSeek propone V4-Flash a $0,14 per milione di token in input. Entrambi distribuiscono i pesi in modalità open-weight, abilitando deployment on-pr...
Un developer ha eseguito LFM2.5-2.6B, un LLM da 2,69 miliardi di parametri con finestra di contesto di 128K, su uno smartphone OnePlus 13 usando solo CPU e quantization Q4_K_M. L'inference engine custom, di appena 450 KB, raggiunge 17 tok/s e support...
I benchmark locali di un utente mostrano DeepSeek V4 Flash 0731 in formato MXFP4 al top per efficienza e qualità, raggiungendo 1.000 token/s in prefill e 90 token/s in generazione. Un risultato che accende i riflettori sulla quantization a bassa prec...
