Il baricentro si sposta dall'inference solo cloud a quella locale e open-weight, spinta da quantization, ottimizzazione per GPU/CPU consumer e addestramento a basso costo. Rilasci come Meta Muse Glimmer e lo stack vocale on-device di NVIDIA stanno rafforzando l'ecosistema self-hosted.
Il raddoppio del prezzo di listino della RTX PRO 6000 Blackwell, da meno di 8.000 a 16.000 dollari, segnala una domanda enterprise anelastica e un potere di prezzo che ridisegna i calcoli TCO per l'on-premise. La scheda da 96 GB di VRAM diventa un fi...
La scheda professionale da 96 GB passa da un preordine sotto gli 8.000 dollari a un MSRP di 16.000. Un segnale sui costi dell'inference self-hosted e sulla pressione che spinge le aziende private a spendere il doppio per GPU. Per chi valuta server lo...
Le patch per il kernel Linux abilitano il supporto al GMUX Apple sui portatili di fine anni Dieci. Un miglioramento che, oltre alla gestione energetica, interessa chi trasforma queste macchine in nodi di inference on-premise riutilizzando hardware da...
Il progetto LLM-Scaler di Intel aggiunge il supporto immediato per Muse Glimmer, consolidando uno stack Docker-based per GPU Arc B-Series che integra vLLM, SGLang e ComfyUI. Una mossa che rende l’inference on-premise più accessibile e segnala l’impeg...
Unsloth Desktop è la prima applicazione open source per eseguire e addestrare LLM in locale. Supporta Windows, macOS e Linux, con accelerazione su NVIDIA, AMD, Intel e Mac. Promette training 2× più veloce e riduce la VRAM del 70%. Integra ricerca pri...
Il nuovo modello Nemotron-3.5 Lightning 30B-A3B in formato BF16 arriva su Hugging Face. Una mossa che sposta il baricentro verso architetture MoE ultra-efficienti, pensate per chi fa girare LLM su hardware proprio, riducendo la dipendenza dal cloud s...
I nuovi Luth-2-0.8B e 2B fissano lo stato dell’arte per il francese, battendo modelli fino a tre volte più grandi in benchmark linguistici e matematici. Leggeri al punto da girare in locale, aprono scenari concreti per il deployment on-premise e la s...
Un esperimento dimostra che con 200 dollari su GPU noleggiate si può addestrare un LLM da 1,1 miliardi di parametri e distribuirlo su CPU o persino smartwatch. Il costo irrisorio riscrive il calcolo del TCO per le aziende che valutano soluzioni self-...
Un progetto personale mostra come addestrare da zero un modello linguistico da 1,1 miliardi di parametri su 20 miliardi di token con una spesa totale di circa 200 dollari. Il modello, poi ottimizzato con LoRA e quantizzato, gira su CPU e persino su u...
A partire dalla release 45, il sistema container-optimized di Fedora gestirà in automatico la pressione di memoria con systemd-oomd e swap compressa su zRAM. Una mossa che parla direttamente a chi spinge carichi LLM su hardware contenuto.
InclusionAI rilascia Ling-3.0-tiny, un MoE da 8 miliardi di parametri (soli 1,3 attivi) che raggiunge 100-105 token/s su DGX Spark e 86-90 su MacBook M4 Pro, con 8,34 GiB di picco a contesto 8K in FP8. Prestazioni da fascia media, ma l’efficienza har...
Meta rilascia Muse Glimmer, modello da 30 miliardi di parametri ottimizzato per flussi agentici on-device. ExecuTorch ora supporta l'inference su GPU NVIDIA e Mac Apple silicon, integrando GGUF, k-quant, contesto oltre 128K token e decoding speculati...
L'arrivo di Muse-Glimmer-30B nel formato GGUF non è solo il rilascio di un modello. È il segnale di un'infrastruttura di inference locale che si rafforza, spostando l'attenzione dai mega-modelli cloud alla praticità delle GPU in sede e alle pipeline ...
Meta rilascia Muse Glimmer, un modello da 30 miliardi di parametri con licenza Apache 2.0, ottimizzato per flussi di lavoro agentici sempre attivi su hardware consumer. La quantization a 4 bit e la decodifica speculativa lo rendono eseguibile su GPU ...
L'INT4 ufficiale di Ling-3.0-flash gira su una DGX Spark, ma con configurazione predefinita eroga 20.8 tok/s. Due interventi — disabilitare `--enforce-eager` per abilitare i cudagraph e attivare la decodifica speculativa MTP con un token — fanno balz...
Un’alternativa gratuita e open source ai servizi di trascrizione a pagamento: Meetily registra e trascrive le riunioni in locale, senza mandare dati sensibili in cloud. Una scelta che incide su privacy, costi e controllo del dato aziendale.
Un utente ha fatto generare a DeepSeek un kernel Metal per eseguire Kimi K2 quantizzato su Mac Studio, ottenendo modeste prestazioni ma dimostrando che gli LLM possono colmare lacune software per l’inference self-hosted su hardware non-Nvidia. Il cas...
In 50 minuti un LLM ha scritto il codice per eseguire un modello quantizzato da 90 GB su un Mac Studio, senza kernel preesistenti. Prestazioni modeste ma sufficienti a dimostrare che l’hardware consumer può diventare un’alternativa credibile per l’in...
Un utente Hugging Face ha pubblicato una versione quantizzata di Kimi K3 che elimina il multilingua e applica IQ2-XXS via Unsloth, riducendo lo spazio da 711 a 478 GB. Dietro il dato tecnico si nasconde una lezione chiara per chi valuta deployment lo...
Un motore di inference in C99 senza dipendenze esterne spinge il modello ternario BitNet da 2 miliardi di parametri a 36,25 token al secondo su CPU Intel Xeon, usando SIMD custom e istruzioni VNNI. Ma il vero collo di bottiglia non è la CPU: a batch ...
Un utente esegue Kimi K3 su due cluster con llama.cpp e RPC, ricorrendo a offloading parziale e quantization IQ1_M. L’obiettivo? Accelerare del 2-3x unificando le GPU in un solo sistema e passare a Q2_K_XL, sperando che modelli come Qwen3.8 rendano s...
Un utente spinge al limite una Radeon AI Pro R9700 da 32 GB con i modelli Qwen3.6 ridotti a INT4. Il 35B MoE tocca 262mila token di contesto e 52 tok/s a 100k, mentre il 27B sfrutta il speculative decoding per mantenere 59 tok/s oltre i 50k di contes...
Una manciata di righe di codice in llama.cpp moltiplica fino a 2,7 volte le prestazioni delle GPU Intel Battlemage su contesti di 118.000 token quando la cache KV è quantizzata. Il guadagno è talmente netto da trasformare una scheda da gaming in un’a...
Un utente racconta l’esperienza con Qwen 3.6 27B in Q4 su un Apple M5, immaginando un futuro in cui ogni query passa prima dal proprio LLM locale. Tra costi cloud in crescita e modelli frontier insostenibili, l’attesa per un ipotetico Qwen 3.8 denso ...
Un test locale su hardware AMD mette a confronto Qwen 35B-A3B (MoE, 3B parametri attivi) e Qwen 27B denso. Il modello MoE genera ~116 token/s contro ~30 del denso, ma la differenza nella qualità del codice è minima, tranne che nei casi limite più ast...
Una PR di llama.cpp modifica il dispatch SYCL da VEC a TILE per cache KV quantizzate, portando a un incremento fino al 169% nella velocità di decodifica su GPU Intel Battlemage a contesti lunghi. I test mostrano guadagni significativi già a 32K, apre...
Un report indipendente analizza il modello LFM2.5-2.6B di LiquidAI su Raspberry Pi, testando decine di combinazioni di quantization GGUF e cache KV. I risultati mostrano che con 8 GB di RAM il degrado è trascurabile, ma alcuni quant nascondono cadute...
Alibaba ha lanciato Qwen3.8-Max, un modello da 2.4 trilioni di parametri con architettura MoE, mentre DeepSeek propone V4-Flash a $0,14 per milione di token in input. Entrambi distribuiscono i pesi in modalità open-weight, abilitando deployment on-pr...
L'analisi esamina come il rilascio dello stack vocale NVIDIA (ASR, TTS, codec) ottimizzato per esecuzione locale tramite GGUF e NeMo-Speech.cpp ridefinisca il calcolo del TCO, la sovranità dei dati e le architetture on-premise. Il passaggio dal cloud...
NVIDIA ha rilasciato modelli di sintesi, riconoscimento e compressione vocale ottimizzati in GGUF, eseguibili localmente con NeMo-Speech.cpp. Una mossa che abilita pipeline vocali on-premise, riduce la dipendenza dal cloud e rafforza il controllo sui...
