Un'ondata di strumenti, quantizzazioni e hardware specializzato rende possibile il deployment AI locale. Questo cambiamento promette costi inferiori e maggiore controllo sui dati.
La domanda comparsa su Reddit – «Cosa ci fate con i modelli piccoli?» – svela un riassetto dell’infrastruttura AI lontano dai data center. AI-Radar analizza i quattro scenari d’uso reali, il ruolo decisivo della VRAM, del TCO e dei framework locali, ...
Una domanda su Reddit apre un dibattito pratico: chi utilizza modelli di linguaggio di piccole dimensioni e per quali scopi? La discussione svela un ecosistema in rapida maturazione, dove l'efficienza computazionale e la sovranità dei dati contano pi...
Il diciassettenne Owen Song rilascia Inflect v2: due modelli TTS completi da 4 e 9 milioni di parametri, sotto 38 MB, che operano su CPU senza API cloud. Micro e Nano offrono voce maschile fissa in inglese, niente clonazione. La vera notizia è la cor...
AMD ha annunciato all’evento Advancing AI un ciclo di rilascio rigoroso di sei settimane per la piattaforma ROCm. Una cadenza che promette prevedibilità e stabilità per sviluppatori e amministratori di sistema, colmando un divario storico con NVIDIA....
Un nuovo studio propone una via di mezzo tra compressione lossy e lossless: una quantization che preserva la qualità statistica dell’output, accelera l’inference e riduce i bit per parametro fino a 3,3. Implicazioni dirette per chi gestisce LLM su ha...
AMD ha annunciato ROCm.ai, una piattaforma dedicata all’intelligenza artificiale agentica, promettendo guadagni in inference fino a 3.3x. L’iniziativa rafforza la strategia software dell’azienda in un settore sempre più orientato a deployment on‑prem...
Con l'aggiornamento su GitHub poco prima del keynote di Lisa Su, AMD rafforza il supporto per modelli on-device su Ryzen AI. Ottimizzazioni e nuovi modelli spingono la sovranità dei dati e l'uso enterprise.
Il framework open source leader per l'inference LLM su CPU e GPU consumer ora riconosce le schede Laguna XS.2 e M.1, acceleratori pensati per carichi AI on-premise. L'integrazione diretta nel commit b10087 segnala una maturazione dell'ecosistema hard...
Upstage rilascia Solar-Open2-250B, un modello open-weight pensato per flussi agentivi con architettura MoE ibrida: 250 miliardi di parametri totali, ma solo 15 miliardi attivi per token. Attenzione lineare e rimozione del positional encoding permetto...
Il team Unsloth annuncia su Reddit la disponibilità di varie quantization per Laguna S 2.1. Il processo di compressione riduce il fabbisogno di VRAM e facilita l’esecuzione in locale, accelerando l’adozione di LLM self-hosted per esigenze di sovranit...
Poolside rilascia Laguna-S-2.1, un LLM da 120 miliardi di parametri, accompagnato da file GGUF e da un fork personalizzato di llama.cpp. Scelta inedita che accelera il deployment on-premise e abbassa la barriera per l’esecuzione locale di modelli di ...
Un modder monta un dissipatore in alluminio da 2,5 kg su una RTX 4060 e la raffredda per convezione naturale. Il test dimostra che carichi moderati, come l'inference LLM on-premise, potrebbero fare a meno delle ventole, con implicazioni per silenzios...
NInfer, un inference engine open source scritto da zero in C++/CUDA, raggiunge 543 token al secondo su Qwen3.6-35B-A3B con un prompt da 65mila token, tutto su una singola RTX 5090. Quantization su misura e ottimizzazioni hardware spingono le prestazi...
Il round da 65 milioni di dollari con Benchmark sancisce la maturità del tool open source per eseguire modelli AI sul proprio PC. Un traguardo che riflette un cambiamento strutturale: l'inference locale non è più un hobby, ma una scommessa concreta s...
Mentre promuove le prestazioni single-thread della CPU Vera con core Olympus, NVIDIA ha confermato alcuni dettagli sulla futura Rosa e sul suo core Rigel. L'azienda compie un passo decisivo verso una CPU proprietaria, con implicazioni profonde per ch...
NVIDIA mette a disposizione Audex-30B-A3B, un LLM a mistura di esperti da 30 miliardi di parametri che estende Nemotron-Cascade-2 all'audio senza regredire nelle capacità testuali. Il modello supporta recognition, traduzione, sintesi vocale e generaz...
AMD inizia a spedire il Ryzen AI Halo, un mini PC basato su Strix Halo con stack software completamente open source. Un passo concreto per chi cerca deployment on-premise di LLM senza vincoli proprietari.
