📁 LLM

SELR propone un unico modello capace di ragionare in forma latente e spiegare i propri passaggi in linguaggio naturale. L'addestramento multi-task combina Answer Loss e CoT Loss, eliminando decoder esterni e tenendo la spiegazione legata al ragionamento. Validato su LLM e Vision-Language Models, punta a unire efficienza nei token e interpretabilità: una direzione rilevante per deployment locali e infrastrutture self-hosted.

Ottimizzare un LLM sui benchmark di coding più diffusi non ne migliora la capacità generale di programmazione. Una nuova suite basata su Django mostra che i ranking non si generalizzano e che il fine-tuning su SWE-bench produce guadagni limitati o nulli su altri task. La valutazione va diversificata.

Uno studio su Qwen3.6-35B-A3B mostra che nei modelli MoE la tolleranza al mascheramento degli esperti non è uniforme: i layer iniziali e intermedi sono fragili, quelli finali reggono tagli aggressivi. Su tre server H100, politiche mirate agli ultimi layer mantengono più output Good+Similar mascherando centinaia di esperti, mentre il mascheramento piatto crolla. La riduzione del routing top-k da 8 a 6 migliora il wall-clock ma non si compone con il mascheramento aggressivo.

Un appassionato ha confrontato due LLM da 27 miliardi di parametri con quantization unsloth UD-Q8_K_XL in un harness agentico: scrivere un ray tracer ricorsivo in BASIC, eseguirlo, guardare l'immagine e iterare. Qwen3.6 richiedeva interventi umani quando non vedeva l'errore; Qwen3.8 spesso chiude il ciclo da solo. Il prompt chiedeva tre sfere metalliche Cook-Torrance.

Gli sviluppatori Debian hanno avviato la votazione su una risoluzione generale per definire quanto spazio dare ai contributi generati da LLM. Il confronto tocca provenienza del codice, revisione e responsabilità, con ricadute dirette su chi costruisce stack locali e self-hosted.

Un commit nel framework ms-swift espone la stringa Qwen 3.8 35BA3B, senza annunci né specifiche. Il nome suggerisce un modello da 35 miliardi di parametri con architettura a esperti, ma la fonte non conferma nulla. Analizziamo cosa significa per chi valuta deployment self-hosted e perché la comparsa in un tool di fine-tuning è un indizio tecnico più concreto di un leak di marketing.

La community ha raccolto in un megathread i link ufficiali e le varianti quantizzate del nuovo Qwen 3.8 27B. GGUF, MLX e FP8 già disponibili: un segnale sulla maturità del self-hosted.

Uno studio controllato a sei condizioni smonta un'assunzione diffusa: il valore dell'auto-riflessione nei LLM non arriva da domande diagnostiche o vocabolari di incertezza, ma dal routing tipizzato delle azioni. I dati mostrano guadagni consistenti e replicati su GPT-4o, concentrati su conflitti strutturalmente nuovi.

Writer ha presentato un nuovo modello ottenuto dal fine-tuning di GLM-5.2 di Z.ai, accompagnato da un harness aggiornato per contenere i costi dei token. L'annuncio sposta l'attenzione dal solo benchmark alla sostenibilità operativa: per chi gestisce deployment self-hosted o on-premise, la combinazione di modello pronto all'uso e costi di inference ridotti può incidere sul TCO. Ma senza specifiche hardware e metriche reali, il vantaggio resta da verificare.

La comparsa del repository deepseek-ai/DeepSeek-V4-Pro-0813 su Hugging Face riporta l'attenzione sulla distribuzione dei LLM. Senza schede tecniche, però, un identificativo non orienta le decisioni on-premise: servono VRAM, quantization, pipeline di serving e contesto di deployment. L'articolo analizza cosa cambia per chi valuta modelli self-hosted.

La pagina di Hugging Face mostra un conto alla rovescia per Qwen/Qwen3.8-27B, suggerendo una fase di pre-rilascio. Il gesto segnala una strategia di distribuzione comunitaria e offre ai team on-premise una finestra per valutare vincoli di VRAM, quantization e TCO prima della disponibilità.

Un retrofit ricorrente su Qwen2.5-0.5B-Instruct permette ragionamento iterativo latente con budget parametrici ridotti. Il modello eguaglia il blocco completo, estrapola la profondità oltre l'addestramento e risponde 7,6 volte più veloce di un modello con scratchpad. Ma il compito inverso mostra interferenza catastrofica: il meccanismo non generalizza facilmente.

Una ricerca su 28.592 titoli francesi rivela che i modelli LLM riconoscono in modo stabile frame di conflitto e gioco strategico, ma faticano con i giudizi normativi. I risultati offrono una chiave per progettare pipeline di annotazione locali che distinguano tra costrutti robusti e fragili, riducendo rischi quando si lavora su dati sensibili.

Un nuovo framework usa l'omologia persistente per tracciare la trasformazione delle rappresentazioni token da strato a strato. L'analisi topologica globale potrebbe indicare dove e come i modelli sviluppano feature rilevanti, con implicazioni per ottimizzazione, pruning e deployment on-premise.

Il nuovo modello Nemotron-3.5 Lightning 30B-A3B in formato BF16 arriva su Hugging Face. Una mossa che sposta il baricentro verso architetture MoE ultra-efficienti, pensate per chi fa girare LLM su hardware proprio, riducendo la dipendenza dal cloud senza sacrificare le prestazioni.

I nuovi Luth-2-0.8B e 2B fissano lo stato dell’arte per il francese, battendo modelli fino a tre volte più grandi in benchmark linguistici e matematici. Leggeri al punto da girare in locale, aprono scenari concreti per il deployment on-premise e la sovranità dei dati, mostrando quanto i modelli multilingua lascino sul tavolo fuori dall’inglese.

Un esperimento dimostra che con 200 dollari su GPU noleggiate si può addestrare un LLM da 1,1 miliardi di parametri e distribuirlo su CPU o persino smartwatch. Il costo irrisorio riscrive il calcolo del TCO per le aziende che valutano soluzioni self-hosted: la sovranità dei dati diventa una scelta progettuale concreta, non un lusso per pochi. Restano limiti di qualità e contesto, ma la commoditizzazione del training sposta il valore dalla potenza bruta alla capacità di orchestrare pipeline e deployment.

Un benchmark dedicato mette alla prova 33 Large Language Model su compiti di gestione dei rifiuti solidi. Il migliore sfiora il 95% di accuratezza nelle domande semplici, ma in quelle complesse la media crolla al 42,5%. Calcolo, progettazione sperimentale e pianificazione urbana restano punti deboli, e le modalità “pensanti” non sempre aiutano. I risultati segnalano la necessità di valutazioni di dominio per chi schiera modelli in contesti ingegneristici reali.

Un progetto personale mostra come addestrare da zero un modello linguistico da 1,1 miliardi di parametri su 20 miliardi di token con una spesa totale di circa 200 dollari. Il modello, poi ottimizzato con LoRA e quantizzato, gira su CPU e persino su un orologio WearOS. Una dimostrazione concreta di come la sovranità dei dati e il controllo totale del processo siano oggi alla portata anche dei singoli sviluppatori.

L'arrivo di Muse-Glimmer-30B nel formato GGUF non è solo il rilascio di un modello. È il segnale di un'infrastruttura di inference locale che si rafforza, spostando l'attenzione dai mega-modelli cloud alla praticità delle GPU in sede e alle pipeline di dati sovrane.