Nel model merging, il punto in cui si calcola la derivata direzionale non è un dettaglio matematico: separa una previsione utile da una quasi ortogonale ai cambiamenti reali. Il lavoro mostra che al receiver model la derivata prevede le interferenze, dimezza l'errore di accuracy rispetto a una baseline no-change e identifica la maggior parte degli esempi il cui esito cambia. Al backbone pre-addestrato, invece, nei test di visione è quasi ortogonale ai cambiamenti reali; nei piloti LoRA su LLM è solo parzialmente predittiva.

La spiegazione non è la distanza tra parametri, ma lo spostamento lungo il task vector del receiver: il disallineamento compare entro poche decine di passi di fine-tuning. Congelando le risposte locali al receiver si ottiene una surrogate affine nei coefficienti di merge. Su questa base, LR-Merge corregge i coefficienti con un teacher matching convesso su probe non etichettati, senza backpropagation attraverso le reti fuse.

Per chi gestisce stack self-hosted, il vantaggio non è solo accademico. Il model merging consente di combinare più modelli fine-tuned su un unico backbone, riducendo il numero di modelli da servire e, di conseguenza, la pressione su VRAM e TCO. LR-Merge rende economica la ricerca dei coefficienti: una volta costruita la surrogate, risponde a nuove combinazioni di task in secondi. Questo sposta l'incentivo dal mantenere un parco di modelli specializzati al ricomporre dinamicamente il comportamento a partire da task vector già disponibili, con overhead di calcolo contenuto.

Il punto critico è che la previsione al backbone condiviso fallisce. Chi usa ricette di merging standard ancorate al backbone rischia di ottimizzare i coefficienti su una geometria sbagliata. I controlli descritti nel paper collegano il fallimento allo spostamento lungo il vettore del receiver, non alla semplice distanza tra parametri. In pratica, non basta confrontare i pesi: servono le risposte locali. Per i deployment on-premise questo aggiunge un passaggio di preparazione, ma non richiede backpropagation sulle reti fuse, quindi resta compatibile con hardware privo di grandi cluster di addestramento.

Un aspetto meno visibile riguarda i dati. LR-Merge è label-free: usa probe non etichettati. Nei contesti di sovranità dei dati o compliance, riduce la dipendenza da dataset annotati, spesso costosi o sensibili. Non elimina la necessità di validazione, ma sposta il costo dal labeling alla raccolta di probe non etichettati, più semplice da mantenere on-premise. Strutturalmente, segnala che la correzione dei coefficienti di merge sta diventando un problema di ottimizzazione convessa separato dall'addestramento, potenzialmente un componente standard delle pipeline di model merging per chi opera LLM in locale.

Il fatto che LR-Merge eguagli il teacher matching esatto attraverso una rete fusa, ma con una convergenza circa tre volte più rapida a parità di budget di calcolo, suggerisce che il collo di bottiglia è il costo di valutazione, non la qualità della correzione. Una volta costruita, la surrogate rende il problema pratico. La domanda aperta è se lo stesso approccio tenga quando i task vector provengono da famiglie di modelli molto diverse.