Un forte spostamento verso il deployment locale di grandi modelli linguistici è guidato da innovazioni hardware (AMD, Intel), ottimizzazioni dei modelli (GGUF, quantization) e crescenti preoccupazioni su costi, latenza e sovranità dei dati, ridisegnando il panorama infrastrutturale AI.
Unsloth ha rilasciato i file GGUF per Deepseek V4, abilitando l’inference self-hosted su hardware consumer via llama.cpp e Ollama. La mossa ribalta il calcolo del TCO e la sovranità dei dati: l’AI on-premise diventa una scelta di design. AI-Radar ana...
thinkingmachines ha rilasciato Inkling-Small, un LLM a mistura di esperti con 276 miliardi di parametri e soli 12 miliardi attivi, finestra di contesto da 1 milione di token e quantizzazioni NVFP4 e GGUF. L'analisi AI-RADAR mette a fuoco il nodo nasc...
Un paper valuta architetture transformer ricorsive per simulazioni termo-meccaniche nei semiconduttori. Risultato: condividere i pesi in profondità riduce overfitting e FLOPs, un vantaggio diretto per chi esegue modelli su hardware limitato e vuole m...
Thinkingmachines ha rilasciato Inkling-Small, un LLM con 276 miliardi di parametri totali ma appena 12 miliardi attivi e una finestra di contesto di 1 milione di token. Grazie alla quantization NVFP4 e ai file GGUF di Unsloth, il modello si presta al...
Meta dettaglia l’infrastruttura FBTriton: ingestion agentica, validazione stratificata e l’attrito tra l’ideale del CI perfetto e la realtà produttiva. Una lezione per chiunque voglia mantenere un fork di Triton in casa.
In piena corsa all’intelligenza artificiale, LinkedIn decide di non espandere i propri data center nel prossimo anno, puntando invece sull’ottimizzazione delle risorse di calcolo esistenti. Gli ingegneri dovranno far fruttare ogni GPU al massimo dell...
Le release trimestrali dei driver Intel Media e oneVPL GPU Runtime mostrano le prime ottimizzazioni per l'accelerazione video su Nova Lake. Un mattone fondamentale per chi valuta hardware Intel in deployment locali di inference AI, dove la maturità d...
La community Debian valuta cinque mozioni per regolamentare l’uso dei Large Language Models nel progetto. La scelta tocca temi come trasparenza del codice, sovranità dei dati e governance degli stack on-premise, con potenziali ripercussioni su chi ge...
AMD e Anthropic stanno costruendo una fabbrica AI su larga scala che rinuncia a CUDA. L’ecosistema ROCm diventa un’alternativa concreta per l’inference e il fine-tuning di modelli multi-trilione di parametri. Per le aziende che puntano al self-hosted...
La partnership punta a scalare l'inference e il training di Claude su GPU Instinct MI300X, sfidando il monopolio NVIDIA con un ecosistema aperto. Per le aziende che valutano deployment on-premise, si apre uno scenario inedito di diversificazione dell...
Un framework adattivo genera dialoghi con turni di parola calibrati su poche preferenze umane. Non serve una mole di dati: basta la giusta annotazione per allineare l’interazione a uno scenario specifico, un principio che sposta il valore dal volume ...
Un trial presso un grande istituto britannico mostra come agenti sintetici basati su dati reali possano validare chatbot LLM in ambito regolamentato, riducendo allucinazioni e riproducendo tratti della personalità. Una via scalabile per la conformità...
Un utente acquista una RTX 5090 per addestrare modelli in locale e liberarsi dalle API cloud. Passa a due RTX 6000 Pro per gestire modelli da 100B parametri, salvo poi accorgersi che la maggior parte dei compiti quotidiani girava già sulla sola 5090....
Il supercomputer Helios, basato su GPU AMD Instinct e stack ROCm, sta scalando le classifiche mondiali e mostra come l’ecosistema aperto di AMD sia ormai maturo per carichi AI, insidiando il dominio di CUDA. Un segnale forte per chi progetta infrastr...
L'esperimento di un utente mostra il modello Kimi K3 in esecuzione locale con quantization Q2_K, 768GB di RAM di sistema e due GPU NVIDIA 5090. Prefill a 50-70 token/s e decodifica intorno a 4 token/s, ma la velocità di generazione aumenta nel tempo,...
Nvidia si prepara ad aumentare i prezzi delle sue GPU GeForce RTX fino al 30%. Questa mossa ha implicazioni significative per le strategie di deployment AI on-premise, aumentando il Total Cost of Ownership e spingendo le aziende a riconsiderare l'har...
La PyTorch Foundation invita la community a disegnare la spilla per la conferenza 2026. Dietro un'iniziativa apparentemente leggera si nasconde un tassello strategico: il branding e la partecipazione attiva cementano la comunità open source che rende...
L'ultimo report di DIGITIMES fotografa un'ondata di investimenti infrastrutturali guidata da Google e Meta, trainati dalla crescita dei Large Language Models. Tra silicio personalizzato e cloud sempre più chiusi, AI-RADAR analizza le implicazioni per...
Moonshot rilascia Kimi K3, LLM MoE da 2.800 miliardi di parametri con quantization MXFP4. Per il deployment on-premise, un nodo da 8×A100 (640 GB) richiede tre macchine prima di allocare la cache KV; con 8×H200 (1.13 TB) servono due nodi. Solo 8×B300...
La scaleup spagnola alza 570 milioni con una valutazione di 1,7 miliardi, puntando sulla tecnicia CompactifAI che riduce le dimensioni degli LLM fino al 95% senza perdita di accuratezza. La posta in gioco: spostare l'inference dai data center ai disp...
Il passaggio di Kimi K3 all'open weight è una notizia importante per l'ecosistema open source, ma la stazza del modello lo rende irraggiungibile per la maggior parte delle infrastrutture private. Chi lo userà davvero e cosa significa per chi scommett...
La domanda comparsa su Reddit – «Cosa ci fate con i modelli piccoli?» – svela un riassetto dell’infrastruttura AI lontano dai data center. AI-Radar analizza i quattro scenari d’uso reali, il ruolo decisivo della VRAM, del TCO e dei framework locali, ...
Una domanda su Reddit apre un dibattito pratico: chi utilizza modelli di linguaggio di piccole dimensioni e per quali scopi? La discussione svela un ecosistema in rapida maturazione, dove l'efficienza computazionale e la sovranità dei dati contano pi...
Geekbench 7 arriva con una revisione radicale di punteggi e test. L’impatto sugli acquisti hardware per inference e training LLM potrebbe essere più profondo del previsto, specie in ambienti dove si valuta ogni watt e ogni gigabyte di banda memoria.
