📁 LLM

La repository di DeepSeek V4.1 Flash compare su Hugging Face senza dettagli tecnici. Per i team che valutano LLM self-hosted, il solo annuncio accende un confronto su architetture efficienti e inference locale. Ma senza parametri, memory footprint o quantization, siamo davanti a un segnale, non a una scheda tecnica.

Un modello da 4 miliardi di parametri in precisione BF16 firmato NVIDIA Nemotron Labs appare su Hugging Face. Non è la dimensione a contare, ma il formato: BF16 tiene il modello lontano dalle compressioni spinte e lo colloca nello spazio dei deployment locali su GPU con VRAM adeguata. Ne analizziamo le implicazioni per chi valuta self-hosted e TCO.

Reflection ha rilasciato Beam, LLM aperto con architettura MoE da 501 miliardi di parametri totali e 23 miliardi attivi. Supporta contesto da 1 milione di token e precisioni BF16, FP8 e NVFP4. La tesi è il ragionamento token-efficiente: circa un terzo dei token di inference rispetto ai modelli aperti leader. I benchmark mostrano risultati forti su coding e matematica, ma la memoria resta il nodo per il self-hosted.

Un preprint di Stanford, Together AI, UIUC e Meta introduce i Hybrid Reasoning Agents: modelli che ragionano in modo interno e producono testo solo per tool e risposta finale. Nei test segnalati guadagnano circa il 10%, usano metà token, girano due volte più veloci e costano meno. Il vero cambiamento è strutturale: il ragionamento esce dal flusso testuale, con effetti su verificabilità, fiducia e TCO dell’inference.

La scheda del modello Tencent Hy-Memory-30B-A3B accende il dibattito su un dato sfuggente: un'architettura con 3 miliardi di parametri attivi su 30 miliardi totali supererebbe Opus 5 in un test di memoria non specificato. Il punto non è il benchmark, ma il segnale strutturale per chi valuta deployment self-hosted: meno parametri attivi possono ridurre VRAM e costi di inference, senza rendere il modello più semplice da valutare.

Un test empirico di tre giorni su GYRO-M, quantization Q2 del modello Qwen Flash Next, segnala stabilità paragonabile al q3 ISTA con dimensioni ridotte. Il progetto nasce da un singolo contributore e mostra tenuta su contesti lunghi, ma evidenzia criticità sui testi cirillici. Una novità che riapre il confronto su quantization, loop resistance e metriche di qualità per deployment locali.

Quando più modelli raggiungono punteggi quasi perfetti, i benchmark perdono capacità di distinguerli. Uno studio mostra che le trascrizioni complete dei task, anche da benchmark saturi, conservano informazioni predittive. Il pairwise judging riduce l'errore di predizione di 5,3 volte rispetto ai soli punteggi. Il segnale però non sempre regge ai cambi di distribuzione: i primi modelli di reasoning del 2025 sono stati sottostimati.

Meta rilascia i pesi di Muse Spark Open, modello da 816 miliardi di parametri totali e 42 miliardi attivi con finestra da 1M token. L'annuncio unisce Helion e TorchTitan: kernel portabili su GPU NVIDIA, AMD e Intel e strumenti di fine-tuning nativo PyTorch. Un segnale per chi valuta deployment on-premise, ma pesi aperti non significa licenza open source.

NVIDIA descrive Nemotron 3.5 Bolt come modello vision-language per task agentici locali: 74B parametri totali, 9B attivi, quantization nativa a 2 bit e footprint da 24 GB. Supporta testo, immagini, video e contesto fino a 256K token; l'esecuzione avviene con vLLM su Ampere, Hopper e Blackwell.

Microsoft AI ha sviluppato una versione locale di MAI Code 1.1 Flash, modello di coding ottimizzato con architettura mixture-of-experts: 137 miliardi di parametri totali e 6,8 miliardi attivi. La notizia segnala una spinta verso strumenti di sviluppo self-hosted su Windows, con implicazioni per sovranità dei dati e costi di inference locale.

Presentato nella community da u/centerstate, Mr.Chatterbox-2.7B-Chat è un checkpoint pre-addestrato e rifinito con fine-tuning su testi vittoriani per la massima accuratezza storica. L'approccio da zero su un dominio specifico, con un modello da 2,7 miliardi di parametri, apre scenari per deployment self-hosted e controllo dei dati, pur restando un esperimento di nicchia.

Un benchmark zero-shot su otto LLM mostra che la qualità della summarization non si trasferisce dall'inglese al bengalese. GPT-5.6 Luna domina alcune metriche lessicali inglesi, ma LLaMA 3.3 70B ottiene i migliori ROUGE e BLEU bengalesi; Gemini 2.5 Flash primeggia in factuality. I ranking cambiano con la metrica: per le lingue a basse risorse serve un evaluation framework multilingue.

Un gruppo di ricercatori usa un LLM 'inverso' per ricostruire le tracce di ragionamento partendo dalle sole risposte. Il modello, addestrato una volta, genera in modo offline i passaggi intermedi per dati prompt-risposta, evitando i rollout multipli del reinforcement learning. Su Qwen3-0.6B una singola distillazione raddoppia pass@1 sui prompt difficili; lo stesso modello inverso fa da verificatore e porta la selezione best-of-n su Countdown da 0.753 a 0.969.

Il forecast grounding obbliga i modelli time-series allineati al linguaggio a conservare la dinamica temporale prima di affrontare i task finali. Lotus usa patch temporali-spettrali e parametri minimi, superando baseline molto più grandi su TSRBench.

Un nuovo test usa Levin's Kt e i modelli linguistici come macchine di rappresentazione per generare item di difficoltà misurabile in bit, prima che umani o modelli di frontiera riescano a risolverli. Dodici LLM sono stati valutati su una prima batteria certificata, mostrando curve caratteristiche che declinano con la difficoltà fino a una regione di sovraintelligenza non ancora esplorata.

Un utente ha condiviso un'esperienza positiva con il modello LiquidAI LFM2.5-24-A2B (24B parametri), evidenziando performance elevate (~95 tps) su GPU AMD W7900. Il modello, che richiede 30GB di VRAM per la quantization Q8 con un contesto di 128k token, si dimostra affidabile per carichi di lavoro locali, suggerendo un potenziale significativo per deployment on-premise e una maggiore diversificazione hardware nell'inference LLM.

Il modello inclusionAI Ling-3.1-flash appare su Hugging Face con 560 miliardi di parametri totali, 25 miliardi attivi per token e una context window da 1 milione di token. Una configurazione MoE che riduce il costo computazionale per token, ma sposta l'attenzione su memoria, VRAM e gestione della cache KV. Per deployment on-premise, il divario tra parametri totali e attivi impone scelte precise su quantization e distribuzione del carico.

NVIDIA annuncia per il 15 ottobre Nemotron Bolt 3.5 74B A9B, un MoE da 74 miliardi di parametri (9 miliardi attivi) compresso in 24 GB con quantization a 2 bit e addestramento consapevole della quantization. L'obiettivo dichiarato è bilanciare velocità e intelligenza: più veloce dei modelli dense più diffusi e più brillante dei MoE con ingombro simile. Il 23 ottobre arriva Nemotron 3.5 Bolt E4B da 4 GB.

Un leaderboard open source aggrega 22.113 benchmark e mostra che i modelli open-weight cinesi sono a circa sette mesi dai modelli chiusi USA. La metodologia distingue 14.436 valutazioni indipendenti da 7.677 dichiarate dai laboratori. Per chi valuta deployment on-premise, il dato rilevante non è solo il gap prestazionale: open-weight significa possibilità di self-hosted, ma con costi di VRAM, quantization e TCO da valutare.

Aleph Alpha pubblica la scheda di Kolibri-1: 78 miliardi di parametri totali, 3,46 miliardi attivi e contesto da 1 milione di token con licenza Apache 2.0. L'analisi AI-RADAR mostra come il vincolo si sposti dal calcolo alla memoria e alla cache KV, con implicazioni dirette per self-hosted e TCO.