Metodi come FPO, BCMT, retrofit ricorrenti e SELR stanno riducendo i requisiti di memoria e calcolo, migliorando al contempo le architetture di ragionamento. Questi progressi sono particolarmente rilevanti per l'adattamento locale e i deployment con risorse limitate.
FPO propone un fine-tuning dei LLM che non propaga errori tra i layer e non costruisce grafi autograd. Il metodo riduce il picco di memoria e accelera il throughput, ma concentra l'adattamento nei layer finali. Per chi gestisce modelli self-hosted, i...
FPO adatta i LLM senza un backward pass attraverso il corpo del modello, raggiungendo un throughput da 2,7 a 3,2 volte superiore al fine-tuning standard e circa il 40% in meno di memoria di picco. Nei test su OLMo-2-7B, Qwen3-8B e Falcon3-7B migliora...
BCMT separa l'interazione locale tra token dalla propagazione globale del contesto. Nei test fino a 1024 token, offre prestazioni di validazione paragonabili ai Dense Transformer, con throughput di training più alto e minor consumo di memoria. Il mec...
SELR propone un unico modello capace di ragionare in forma latente e spiegare i propri passaggi in linguaggio naturale. L'addestramento multi-task combina Answer Loss e CoT Loss, eliminando decoder esterni e tenendo la spiegazione legata al ragioname...
Uno studio su Qwen3.6-35B-A3B mostra che nei modelli MoE la tolleranza al mascheramento degli esperti non è uniforme: i layer iniziali e intermedi sono fragili, quelli finali reggono tagli aggressivi. Su tre server H100, politiche mirate agli ultimi ...
Un retrofit ricorrente su Qwen2.5-0.5B-Instruct permette ragionamento iterativo latente con budget parametrici ridotti. Il modello eguaglia il blocco completo, estrapola la profondità oltre l'addestramento e risponde 7,6 volte più veloce di un modell...
