I modelli open-weight come Muse Glimmer di Meta e i giganti MoE cinesi si fondono con i progressi nella quantization e nei framework locali, permettendo a potenti AI di funzionare su GPU consumer, telefoni e piccoli server.
A partire dalla release 45, il sistema container-optimized di Fedora gestirà in automatico la pressione di memoria con systemd-oomd e swap compressa su zRAM. Una mossa che parla direttamente a chi spinge carichi LLM su hardware contenuto.
InclusionAI rilascia Ling-3.0-tiny, un MoE da 8 miliardi di parametri (soli 1,3 attivi) che raggiunge 100-105 token/s su DGX Spark e 86-90 su MacBook M4 Pro, con 8,34 GiB di picco a contesto 8K in FP8. Prestazioni da fascia media, ma l’efficienza har...
Meta rilascia Muse Glimmer, modello da 30 miliardi di parametri ottimizzato per flussi agentici on-device. ExecuTorch ora supporta l'inference su GPU NVIDIA e Mac Apple silicon, integrando GGUF, k-quant, contesto oltre 128K token e decoding speculati...
L'arrivo di Muse-Glimmer-30B nel formato GGUF non è solo il rilascio di un modello. È il segnale di un'infrastruttura di inference locale che si rafforza, spostando l'attenzione dai mega-modelli cloud alla praticità delle GPU in sede e alle pipeline ...
Meta rilascia Muse Glimmer, LLM da 30 miliardi di parametri con licenza Apache 2.0, ottimizzato per agenti AI su GPU consumer. Con quantization a 4 bit il modello occupa meno di 20 GB, pensato per ambienti locali con accesso a dati personali. I bench...
Meta rilascia Muse Glimmer, un modello da 30 miliardi di parametri con licenza Apache 2.0, ottimizzato per flussi di lavoro agentici sempre attivi su hardware consumer. La quantization a 4 bit e la decodifica speculativa lo rendono eseguibile su GPU ...
L'INT4 ufficiale di Ling-3.0-flash gira su una DGX Spark, ma con configurazione predefinita eroga 20.8 tok/s. Due interventi — disabilitare `--enforce-eager` per abilitare i cudagraph e attivare la decodifica speculativa MTP con un token — fanno balz...
Un modder ha portato il raffreddamento a liquido direttamente sul silicio di una RTX 2060 Super con un blocco stampato in 3D. Nonostante perdite iniziali, la temperatura in pieno carico è scesa a 28°C. L’esperimento accende i riflettori su un aspetto...
Un utente ha fatto generare a DeepSeek un kernel Metal per eseguire Kimi K2 quantizzato su Mac Studio, ottenendo modeste prestazioni ma dimostrando che gli LLM possono colmare lacune software per l’inference self-hosted su hardware non-Nvidia. Il cas...
In 50 minuti un LLM ha scritto il codice per eseguire un modello quantizzato da 90 GB su un Mac Studio, senza kernel preesistenti. Prestazioni modeste ma sufficienti a dimostrare che l’hardware consumer può diventare un’alternativa credibile per l’in...
Un utente Hugging Face ha pubblicato una versione quantizzata di Kimi K3 che elimina il multilingua e applica IQ2-XXS via Unsloth, riducendo lo spazio da 711 a 478 GB. Dietro il dato tecnico si nasconde una lezione chiara per chi valuta deployment lo...
Un motore di inference in C99 senza dipendenze esterne spinge il modello ternario BitNet da 2 miliardi di parametri a 36,25 token al secondo su CPU Intel Xeon, usando SIMD custom e istruzioni VNNI. Ma il vero collo di bottiglia non è la CPU: a batch ...
Un utente esegue Kimi K3 su due cluster con llama.cpp e RPC, ricorrendo a offloading parziale e quantization IQ1_M. L’obiettivo? Accelerare del 2-3x unificando le GPU in un solo sistema e passare a Q2_K_XL, sperando che modelli come Qwen3.8 rendano s...
Un utente spinge al limite una Radeon AI Pro R9700 da 32 GB con i modelli Qwen3.6 ridotti a INT4. Il 35B MoE tocca 262mila token di contesto e 52 tok/s a 100k, mentre il 27B sfrutta il speculative decoding per mantenere 59 tok/s oltre i 50k di contes...
Una manciata di righe di codice in llama.cpp moltiplica fino a 2,7 volte le prestazioni delle GPU Intel Battlemage su contesti di 118.000 token quando la cache KV è quantizzata. Il guadagno è talmente netto da trasformare una scheda da gaming in un’a...
Un utente racconta l’esperienza con Qwen 3.6 27B in Q4 su un Apple M5, immaginando un futuro in cui ogni query passa prima dal proprio LLM locale. Tra costi cloud in crescita e modelli frontier insostenibili, l’attesa per un ipotetico Qwen 3.8 denso ...
Un test locale su hardware AMD mette a confronto Qwen 35B-A3B (MoE, 3B parametri attivi) e Qwen 27B denso. Il modello MoE genera ~116 token/s contro ~30 del denso, ma la differenza nella qualità del codice è minima, tranne che nei casi limite più ast...
Una PR di llama.cpp modifica il dispatch SYCL da VEC a TILE per cache KV quantizzate, portando a un incremento fino al 169% nella velocità di decodifica su GPU Intel Battlemage a contesti lunghi. I test mostrano guadagni significativi già a 32K, apre...
Un report indipendente analizza il modello LFM2.5-2.6B di LiquidAI su Raspberry Pi, testando decine di combinazioni di quantization GGUF e cache KV. I risultati mostrano che con 8 GB di RAM il degrado è trascurabile, ma alcuni quant nascondono cadute...
L'analisi esamina come il rilascio dello stack vocale NVIDIA (ASR, TTS, codec) ottimizzato per esecuzione locale tramite GGUF e NeMo-Speech.cpp ridefinisca il calcolo del TCO, la sovranità dei dati e le architetture on-premise. Il passaggio dal cloud...
NVIDIA ha rilasciato modelli di sintesi, riconoscimento e compressione vocale ottimizzati in GGUF, eseguibili localmente con NeMo-Speech.cpp. Una mossa che abilita pipeline vocali on-premise, riduce la dipendenza dal cloud e rafforza il controllo sui...
Denial integra Flutter direttamente in un compositor Rust per Wayland, riducendo latenza, carico di memoria e strati software. Per i carichi di lavoro on-premise che affiancano LLM self-hosted su dispositivi edge, questa co-ubicazione non è solo una ...
Un appassionato con RTX 5090, Ryzen 9 9950X3D e 64 GB di RAM addestra modelli AI da zero per divertimento, testando le idee di nuovi paper come Titans e le memorie engram di Deepseek. Un fenomeno che non è solo un passatempo: le GPU consumer stanno t...
Un developer ha eseguito LFM2.5-2.6B, un LLM da 2,69 miliardi di parametri con finestra di contesto di 128K, su uno smartphone OnePlus 13 usando solo CPU e quantization Q4_K_M. L'inference engine custom, di appena 450 KB, raggiunge 17 tok/s e support...
I benchmark locali di un utente mostrano DeepSeek V4 Flash 0731 in formato MXFP4 al top per efficienza e qualità, raggiungendo 1.000 token/s in prefill e 90 token/s in generazione. Un risultato che accende i riflettori sulla quantization a bassa prec...
La tecnicia di raffreddamento a getto liquido promette di abbassare le temperature delle GPU di nuova generazione e di aumentare le prestazioni. I grandi fornitori cloud valutano l’uso di GPU ‘delidded’ nei data center, segnando un punto di svolta pe...
AMD ha rilasciato un nuovo set di aggiornamenti per i suoi driver display AMDGPU DC su Linux, introducendo correzioni per il supporto HDMI FRL e l'implementazione di HDMI 2.1. Questi sviluppi, destinati al driver open-source, includono anche un'opzio...
Maple-Preview porta i pesi ternari su 20 miliardi di parametri, occupando solo 5 GB e attivando 1 miliardo di parametri per token con un design MoE-like. La preview apre a inference locale su GPU consumer, ma il supporto dei framework è ancora acerbo...
Maple-Preview è un nuovo modello open-weight da 20 miliardi di parametri, con soli 1 miliardo di attivi per token e pesi in quantization ternaria. La combinazione riduce drasticamente la VRAM necessaria per l’inference, avvicinando scenari on-premise...
Un team di ricerca propone circuiti digitali capaci di auto-assemblarsi e riorganizzarsi dinamicamente intorno a guasti hardware, imitando la plasticità adattiva biologica. Utilizzando un Transformer che configura le Lookup Table delle porte booleane...
InclusionAI ha rilasciato i pesi di Ling-3.0-flash su Hugging Face. Il modello conta 127,5 miliardi di parametri con un'architettura a 512 esperti, di cui solo 8 attivi per token. La vera notizia è la versione FP8 ufficiale: 128GB, sufficienti per un...
InclusionAI ha rilasciato Ling-3.0-flash, un modello MoE open-weight da 124 miliardi di parametri con appena 5 miliardi attivi per token. Annunciato prima dell’ondata Kimi K3 e DeepSeek-V4-Flash, il suo dimensionamento potrebbe ritagliargli una nicch...
Una pull request elimina il round-trip CPU-GPU per il sampling MTP in llama.cpp. Su una RTX 5090 il guadagno sfiora l’8%, su una Tesla P40 è del 4% a causa della banda memoria ridotta. Un miglioramento netto senza costi aggiuntivi per chi fa inferenc...
Una domanda su Reddit sul passaggio a llama.cpp rivela molto più di un cambio di interfaccia: è il momento in cui l’inference locale passa dall’esplorazione individuale a stack pronti per l’azienda, con controllo, riproducibilità e automazione.
L’aumento dei costi dei wafer TSMC e delle memorie HBM si ripercuote sul listino delle nuove GPU consumer Nvidia. Uno scenario che non riguarda solo il gaming: chi fa inference on-premise deve ripensare i conti del TCO e spingere su quantization e ot...
L'ultimo report di DIGITIMES fotografa un'ondata di investimenti infrastrutturali guidata da Google e Meta, trainati dalla crescita dei Large Language Models. Tra silicio personalizzato e cloud sempre più chiusi, AI-RADAR analizza le implicazioni per...
Moonshot rilascia Kimi K3, LLM MoE da 2.800 miliardi di parametri con quantization MXFP4. Per il deployment on-premise, un nodo da 8×A100 (640 GB) richiede tre macchine prima di allocare la cache KV; con 8×H200 (1.13 TB) servono due nodi. Solo 8×B300...
La scaleup spagnola alza 570 milioni con una valutazione di 1,7 miliardi, puntando sulla tecnicia CompactifAI che riduce le dimensioni degli LLM fino al 95% senza perdita di accuratezza. La posta in gioco: spostare l'inference dai data center ai disp...
Il passaggio di Kimi K3 all'open weight è una notizia importante per l'ecosistema open source, ma la stazza del modello lo rende irraggiungibile per la maggior parte delle infrastrutture private. Chi lo userà davvero e cosa significa per chi scommett...
La domanda comparsa su Reddit – «Cosa ci fate con i modelli piccoli?» – svela un riassetto dell’infrastruttura AI lontano dai data center. AI-Radar analizza i quattro scenari d’uso reali, il ruolo decisivo della VRAM, del TCO e dei framework locali, ...
Una domanda su Reddit apre un dibattito pratico: chi utilizza modelli di linguaggio di piccole dimensioni e per quali scopi? La discussione svela un ecosistema in rapida maturazione, dove l'efficienza computazionale e la sovranità dei dati contano pi...
Geekbench 7 arriva con una revisione radicale di punteggi e test. L’impatto sugli acquisti hardware per inference e training LLM potrebbe essere più profondo del previsto, specie in ambienti dove si valuta ogni watt e ogni gigabyte di banda memoria.
Un nuovo paper introduce la quantization “statisticamente senza perdita” (SLQ), che garantisce la qualità dell’output in termini probabilistici senza sacrificare la velocità. Definisce tre livelli di fedeltà e mostra che già sotto i 4 bit si preserva...
Il diciassettenne Owen Song rilascia Inflect v2: due modelli TTS completi da 4 e 9 milioni di parametri, sotto 38 MB, che operano su CPU senza API cloud. Micro e Nano offrono voce maschile fissa in inglese, niente clonazione. La vera notizia è la cor...
AMD ha annunciato all’evento Advancing AI un ciclo di rilascio rigoroso di sei settimane per la piattaforma ROCm. Una cadenza che promette prevedibilità e stabilità per sviluppatori e amministratori di sistema, colmando un divario storico con NVIDIA....
Un nuovo studio propone una via di mezzo tra compressione lossy e lossless: una quantization che preserva la qualità statistica dell’output, accelera l’inference e riduce i bit per parametro fino a 3,3. Implicazioni dirette per chi gestisce LLM su ha...
La patch per il driver DRM di Imagination Technologies rende la GPU BXM-4-64 MC1 compatibile con il kernel Linux 7.3. Un passo tecnico che segnala una tendenza più ampia: hardware diversificato ottiene supporto nativo, abbassando le barriere per cari...
Swiss-AI rilascia Apertus 1.5, una famiglia di LLM da 8B e 70B parametri completamente aperta: pesi, dati di training e procedure sono pubblici. Multimodale (immagini, audio, testo), contesto fino a 262.144 token e una modalità di ragionamento miglio...
Uno studio su DeepSeek mostra che i LLM valutano la scrittura premiando struttura e voce, non il lessico. Questo ha implicazioni profonde per chi fa inference locale: quantization aggressiva, scelta dell'hardware e fine-tuning devono tenere conto del...
AMD ha annunciato ROCm.ai, una piattaforma dedicata all’intelligenza artificiale agentica, promettendo guadagni in inference fino a 3.3x. L’iniziativa rafforza la strategia software dell’azienda in un settore sempre più orientato a deployment on‑prem...
Uno studio su DeepSeek e Qwen QwQ estrae la teoria implicita di qualità letteraria dei modelli: contano struttura e voce, non il lessico. Accuratezza del 79,3% nella classificazione, con potenziali distorsioni da riconoscimento della fonte. Per i car...
La nuova linea di chip X100 di AMD spinge le APU Strix Halo nel mondo della robotica, portando in dote core CPU Zen 5 e GPU RDNA 3.5 per inference edge. Un'architettura unificata che compete direttamente con Intel Panther Lake e ridisegna i contorni ...
L'annuncio all'Advancing AI day segna una svolta software: ROCm.AI promette di abbassare le barriere per chi costruisce inference e training su GPU AMD, con un impatto diretto su chi valuta deployment on-premise e sovranità dei dati.
Meta e Google collaborano per portare il DSL Helion sulle cloud TPU. Il compilatore genera codice Pallas ottimizzato, scegliendo tra due strategie di pipeline in base alla lunghezza della sequenza. Con flash attention, raggiunge 838 TFLOPs su TPU v7....
Geekbench 7 introduce benchmark AI, carichi multimediali realistici e supporto CUDA. Non più solo numeri sintetici, ma metriche che contano per chi esegue LLM in locale. Un segnale che il benchmarking evolve verso l’era dell’inference on-premise.
Con l'aggiornamento su GitHub poco prima del keynote di Lisa Su, AMD rafforza il supporto per modelli on-device su Ryzen AI. Ottimizzazioni e nuovi modelli spingono la sovranità dei dati e l'uso enterprise.
Il framework open source leader per l'inference LLM su CPU e GPU consumer ora riconosce le schede Laguna XS.2 e M.1, acceleratori pensati per carichi AI on-premise. L'integrazione diretta nel commit b10087 segnala una maturazione dell'ecosistema hard...
Upstage rilascia Solar-Open2-250B, un modello open-weight pensato per flussi agentivi con architettura MoE ibrida: 250 miliardi di parametri totali, ma solo 15 miliardi attivi per token. Attenzione lineare e rimozione del positional encoding permetto...
La quantization di Laguna S 2.1 a opera di Unsloth abbassa la barriera hardware per l’inference locale, rendendo un modello potente eseguibile su GPU consumer. Questo passo rafforza l’AI on-premise, riduce la dipendenza dal cloud, protegge i dati e a...
Il team Unsloth annuncia su Reddit la disponibilità di varie quantization per Laguna S 2.1. Il processo di compressione riduce il fabbisogno di VRAM e facilita l’esecuzione in locale, accelerando l’adozione di LLM self-hosted per esigenze di sovranit...
Un sistema di classificazione documentale che si auto-addestra usando una pipeline CPU economica e un giudice LLM. Il gate di promozione bloccato previene regressioni silenziose e l’onboarding richiede solo dichiarazioni, non lunghi progetti di annot...
BatchDAG fa generare a un LLM un grafo di esecuzione per interrogare dati aziendali su larga scala, abbattendo le chiamate al modello del 97% senza perdere qualità rispetto a pipeline ingegnerizzate a mano. Un segnale forte per chi vuole analytics on...
La conferenza di San Jose porta in primo piano tool di osservabilità per CUDA graph, l'uso di TorchDynamo per accelerare e debuggare modelli, e l'addestramento multi-nodo. Un segnale chiaro per chi gestisce infrastrutture AI locali.
Poolside rilascia Laguna-S-2.1, un LLM da 120 miliardi di parametri, accompagnato da file GGUF e da un fork personalizzato di llama.cpp. Scelta inedita che accelera il deployment on-premise e abbassa la barriera per l’esecuzione locale di modelli di ...
Con soli 3 miliardi di parametri non-embedding, Nanbeige4.2-3B sfrutta un'architettura Looped Transformer per offrire prestazioni da agente solide, superando modelli molto più grandi. Un segnale per chi cerca efficienza e controllo on-premise.
Canonical formalizza l'Enterprise Store, soluzione per amministrare sistemi Ubuntu in ambienti offline o con connettività strettamente controllata. Un tassello infrastrutturale che rafforza la gestione autonoma delle macchine isolate, cruciale per ca...
Phoronix ha messo a confronto KDE Plasma 6.7, GNOME Shell 50.3 e Xfce 4.20 su CachyOS con GPU NVIDIA RTX 50. Per chi esegue LLM in locale, la scelta del desktop e del server grafico può pesare sulla memoria video e sulla stabilità dei carichi di calc...
Le spedizioni di server Grace standalone segnano un cambio di rotta: la CPU diventa il fulcro nei data center agentici. L'analisi di AI-RADAR su cosa significa per la sovranità dei dati e il deployment on-premise.
Un modder monta un dissipatore in alluminio da 2,5 kg su una RTX 4060 e la raffredda per convezione naturale. Il test dimostra che carichi moderati, come l'inference LLM on-premise, potrebbero fare a meno delle ventole, con implicazioni per silenzios...
