Modelli compatti, agenti on-device e sblocchi delle GPU consumer stanno accelerando l'adozione dell'AI locale, mentre vincoli di VRAM, RAM e fornitura ridefiniscono le scelte hardware.
Un tool open-source via USB rimuove il limite software che dimezza le prestazioni AI delle GPU Nvidia su Windows. La notizia riapre il dibattito sulla segmentazione artificiale dell'hardware consumer e sulle scelte di chi valuta deployment on-prem pe...
Un test su M4 Max con Qwen3.8 27B e contesto a 164k token mostra che cache e KV costano quanto i pesi. Il vecchio consiglio sui 64 GB va rivisto.
Microsoft dimostra che un modello vision-linguaggio da 4 miliardi di parametri può raggiungere il 66% su OSWorld-Verified, usando il 13% in meno di chiamate e il 25,4% in meno di token dopo RL online. Merito di una pipeline di addestramento in cinque...
Un dettaglio in una pull request riaccende il dibattito su una classe di LLM da 120 miliardi di parametri. Per chi gestisce deployment self-hosted, la taglia ridefinisce i calcoli su VRAM, quantization e TCO, senza annunci ufficiali. Il segnale indic...
Con llama.cpp v0.8.0 arriva la compatibilità con DFlash2 per Qwen3.8-Flash-Next. Su Apple Silicon M5 Max i test con GGUFs quantizzate mostrano un guadagno medio del 17% nel throughput di decodifica rispetto a MTP, con picchi del 39% sui prompt a list...
Una pull request nel repository QwenLM/qwen-code accende i riflettori su un possibile modello da 120 miliardi di parametri. Non è un annuncio ufficiale, ma la taglia da 120B tocca un nodo centrale per i deployment on-premise: VRAM aggregata, quantiza...
La pull request in qwen-code segnala che Qwen4 punta a una finestra da un milione di token. Per chi fa inference self-hosted il costo non è teorico: la cache chiave-valore cresce con i token e satura la VRAM insieme ai pesi. Qwen4-27B rende probabili...
Alibaba porta Qwen4 a un milione di token di contesto. La notizia emerge da una pull request in qwen-code: Qwen4-27B atteso domani all'evento Apsara nei Paesi Bassi, Qwen4-max datato 1° novembre con possibile placeholder al 1° ottobre. L'analisi si c...
Un vendor IT ha pubblicato su eBay un supercomputer AI usato da 60 milioni di dollari: 9.600 GPU Nvidia A100, 4.200 CPU AMD EPYC e 300 rack dismessi, spedizione inclusa. L'annuncio mostra come il ciclo di vita dell'hardware AI stia alimentando un mer...
Liquid AI ha presentato LFM3, famiglia di modelli compatti da 1,7–2,2 miliardi di parametri con architettura tri-hybrid e supporto llama.cpp. I decision model saltano la generazione di token e restituiscono risposte in un singolo forward pass. Per ch...
Un modello System One open source gira su un laptop e ottiene risultati vicini a GPT-4 su benchmark medici, con calibrazione ben controllata nei test di conoscenza ma meno affidabile sulle predizioni a livello paziente. Un metodo di ricalibrazione a ...
La domanda di infrastrutture AI locali cresce mentre i costi del cloud pesano sui bilanci. Il nodo delle forniture si stringe attorno alla Asus RTX Spark, segnale di un mercato che sposta risorse verso l'on-premise. Il fenomeno evidenzia pressioni su...
Liquid AI ha presentato una famiglia di modelli da 1,7 a 2,2 miliardi di parametri, progettati per girare su telefono, laptop e dispositivi edge. Oltre al testo, arrivano versioni multimodali e modelli di decisione che rispondono in un singolo passag...
Secondo indiscrezioni, Nvidia non accetta più ordini per RTX 5090 dai board partner e blocca anche i backorder. La notizia, se confermata, segnala una domanda superiore all'offerta e riaccende il nodo hardware per chi fa inference on-premise: la disp...
Una modifica alle schede Nvidia RTX 20, 30 e 40 rimuove un limite che dimezza le prestazioni nei carichi AI. Il caso tocca il cuore dell'inference locale e del TCO per chi sceglie hardware consumer.
