Spinte da costi, privacy e controllo, le organizzazioni stanno sempre più distribuendo piccoli modelli linguistici in locale. Innovazioni nella quantization, architetture efficienti e hardware specializzato rendono l'IA on-premise praticabile per molti casi d'uso.
thinkingmachines ha rilasciato Inkling-Small, un LLM a mistura di esperti con 276 miliardi di parametri e soli 12 miliardi attivi, finestra di contesto da 1 milione di token e quantizzazioni NVFP4 e GGUF. L'analisi AI-RADAR mette a fuoco il nodo nasc...
Un paper valuta architetture transformer ricorsive per simulazioni termo-meccaniche nei semiconduttori. Risultato: condividere i pesi in profondità riduce overfitting e FLOPs, un vantaggio diretto per chi esegue modelli su hardware limitato e vuole m...
Un utente acquista una RTX 5090 per addestrare modelli in locale e liberarsi dalle API cloud. Passa a due RTX 6000 Pro per gestire modelli da 100B parametri, salvo poi accorgersi che la maggior parte dei compiti quotidiani girava già sulla sola 5090....
L'esperimento di un utente mostra il modello Kimi K3 in esecuzione locale con quantization Q2_K, 768GB di RAM di sistema e due GPU NVIDIA 5090. Prefill a 50-70 token/s e decodifica intorno a 4 token/s, ma la velocità di generazione aumenta nel tempo,...
Moonshot rilascia Kimi K3, LLM MoE da 2.800 miliardi di parametri con quantization MXFP4. Per il deployment on-premise, un nodo da 8×A100 (640 GB) richiede tre macchine prima di allocare la cache KV; con 8×H200 (1.13 TB) servono due nodi. Solo 8×B300...
La scaleup spagnola alza 570 milioni con una valutazione di 1,7 miliardi, puntando sulla tecnicia CompactifAI che riduce le dimensioni degli LLM fino al 95% senza perdita di accuratezza. La posta in gioco: spostare l'inference dai data center ai disp...
La domanda comparsa su Reddit – «Cosa ci fate con i modelli piccoli?» – svela un riassetto dell’infrastruttura AI lontano dai data center. AI-Radar analizza i quattro scenari d’uso reali, il ruolo decisivo della VRAM, del TCO e dei framework locali, ...
Un nuovo studio propone una via di mezzo tra compressione lossy e lossless: una quantization che preserva la qualità statistica dell’output, accelera l’inference e riduce i bit per parametro fino a 3,3. Implicazioni dirette per chi gestisce LLM su ha...
Swiss-AI rilascia Apertus 1.5, una famiglia di LLM da 8B e 70B parametri completamente aperta: pesi, dati di training e procedure sono pubblici. Multimodale (immagini, audio, testo), contesto fino a 262.144 token e una modalità di ragionamento miglio...
