Metodi come FPO riducono la memoria del fine-tuning e saltano la retropropagazione tra i layer, mentre memoria causale a blocchi, ragionamento latente auto-spiegabile e retrofit ricorrenti migliorano l'efficienza degli LLM. Modelli compatti come Luth-2 e Nemotron MoE mostrano ottime prestazioni locali.
FPO propone un fine-tuning dei LLM che non propaga errori tra i layer e non costruisce grafi autograd. Il metodo riduce il picco di memoria e accelera il throughput, ma concentra l'adattamento nei layer finali. Per chi gestisce modelli self-hosted, i...
FPO adatta i LLM senza un backward pass attraverso il corpo del modello, raggiungendo un throughput da 2,7 a 3,2 volte superiore al fine-tuning standard e circa il 40% in meno di memoria di picco. Nei test su OLMo-2-7B, Qwen3-8B e Falcon3-7B migliora...
BCMT separa l'interazione locale tra token dalla propagazione globale del contesto. Nei test fino a 1024 token, offre prestazioni di validazione paragonabili ai Dense Transformer, con throughput di training più alto e minor consumo di memoria. Il mec...
SELR propone un unico modello capace di ragionare in forma latente e spiegare i propri passaggi in linguaggio naturale. L'addestramento multi-task combina Answer Loss e CoT Loss, eliminando decoder esterni e tenendo la spiegazione legata al ragioname...
Uno studio su Qwen3.6-35B-A3B mostra che nei modelli MoE la tolleranza al mascheramento degli esperti non è uniforme: i layer iniziali e intermedi sono fragili, quelli finali reggono tagli aggressivi. Su tre server H100, politiche mirate agli ultimi ...
Writer ha presentato un nuovo modello ottenuto dal fine-tuning di GLM-5.2 di Z.ai, accompagnato da un harness aggiornato per contenere i costi dei token. L'annuncio sposta l'attenzione dal solo benchmark alla sostenibilità operativa: per chi gestisce...
Un retrofit ricorrente su Qwen2.5-0.5B-Instruct permette ragionamento iterativo latente con budget parametrici ridotti. Il modello eguaglia il blocco completo, estrapola la profondità oltre l'addestramento e risponde 7,6 volte più veloce di un modell...
Il nuovo modello Nemotron-3.5 Lightning 30B-A3B in formato BF16 arriva su Hugging Face. Una mossa che sposta il baricentro verso architetture MoE ultra-efficienti, pensate per chi fa girare LLM su hardware proprio, riducendo la dipendenza dal cloud s...
I nuovi Luth-2-0.8B e 2B fissano lo stato dell’arte per il francese, battendo modelli fino a tre volte più grandi in benchmark linguistici e matematici. Leggeri al punto da girare in locale, aprono scenari concreti per il deployment on-premise e la s...
