L'ecosistema per l'inference locale sta maturando rapidamente tra hardware, software e ottimizzazione dei modelli, rendendo gli LLM self-hosted un'alternativa concreta alle API cloud.
AMD ha annunciato ROCm.ai, una piattaforma dedicata all’intelligenza artificiale agentica, promettendo guadagni in inference fino a 3.3x. L’iniziativa rafforza la strategia software dell’azienda in un settore sempre più orientato a deployment on‑prem...
L'annuncio all'Advancing AI day segna una svolta software: ROCm.AI promette di abbassare le barriere per chi costruisce inference e training su GPU AMD, con un impatto diretto su chi valuta deployment on-premise e sovranità dei dati.
Con l'aggiornamento su GitHub poco prima del keynote di Lisa Su, AMD rafforza il supporto per modelli on-device su Ryzen AI. Ottimizzazioni e nuovi modelli spingono la sovranità dei dati e l'uso enterprise.
Il framework open source leader per l'inference LLM su CPU e GPU consumer ora riconosce le schede Laguna XS.2 e M.1, acceleratori pensati per carichi AI on-premise. L'integrazione diretta nel commit b10087 segnala una maturazione dell'ecosistema hard...
Upstage rilascia Solar-Open2-250B, un modello open-weight pensato per flussi agentivi con architettura MoE ibrida: 250 miliardi di parametri totali, ma solo 15 miliardi attivi per token. Attenzione lineare e rimozione del positional encoding permetto...
Poolside rilascia Laguna-S-2.1, un LLM da 120 miliardi di parametri, accompagnato da file GGUF e da un fork personalizzato di llama.cpp. Scelta inedita che accelera il deployment on-premise e abbassa la barriera per l’esecuzione locale di modelli di ...
Phoronix ha messo a confronto KDE Plasma 6.7, GNOME Shell 50.3 e Xfce 4.20 su CachyOS con GPU NVIDIA RTX 50. Per chi esegue LLM in locale, la scelta del desktop e del server grafico può pesare sulla memoria video e sulla stabilità dei carichi di calc...
NInfer, un inference engine open source scritto da zero in C++/CUDA, raggiunge 543 token al secondo su Qwen3.6-35B-A3B con un prompt da 65mila token, tutto su una singola RTX 5090. Quantization su misura e ottimizzazioni hardware spingono le prestazi...
Le patch spedite domenica abilitano lo scarico di rete nel kernel Linux con un driver diretto per GPU AMD, saltando le librerie utente come ROCm. Nessuna dipendenza esterna, tutto gestito in-kernel: un cambio di paradigma con implicazioni forti per c...
AMD segue Intel nell'integrare in GCC le estensioni AVX10_V2_AUX, progettate per accelerare carichi AI su CPU x86. Un passo che avvicina l'inference on-premise senza GPU, con vantaggi per sovranità dei dati e TCO.
Il confronto tra Qwen e Gemma svela che la resilienza alla quantization conta più dei benchmark grezzi. Per chi fa inference locale, il quantization-aware training ridisegna hardware, TCO e sovranità dei dati: un'analisi delle implicazioni struttural...
Un confronto diretto su hardware locale mostra che Gemma 4, pur con punteggi benchmark inferiori, batte Qwen in coerenza e aderenza alle richieste. Dietro c’è il QAT, che cambia le regole per chi punta su LLM on-premise: non conta solo la taglia del ...
Il team specializzato in inference per LLM si unisce ad AMD, puntando a ridurre il divario con NVIDIA negli scenari on-premise. La mossa ha implicazioni dirette per chi valuta hardware alternativo per deployment locale di modelli linguistici.
Un modello a mistura di esperti da 92 miliardi di parametri con finestra contestuale di 512.000 token diventa eseguibile su CPU grazie all'integrazione nel runtime ik_llama.cpp. Una combinazione di tecniche come MLA-latent cache e attivazione seletti...
Una build custom di llama.cpp con kernel ROCmFPX porta il modello Qwen3.5 da 122 miliardi di parametri su GPU AMD a 28.50 token al secondo, riducendo l’occupazione di memoria del 18% e accelerando l’inference del 37%. Un banco di prova per la fattibi...
PrismML ha quantizzato il modello Qwen3.6-27B fino a 1 bit, portandolo da 54 GB a 3,9 GB. Bonsai 27B gira su un iPhone 15 Pro Max con 8 GB di RAM, mantenendo il ~90% delle prestazioni benchmark. La matematica regge, ma conoscenza e ragionamento calan...
