Chi combina un modello piccolo on-device con un LLM più grande su un server edge sa che l'accelerazione non è gratuita: durante la verifica speculativa dei token, il dispositivo e il server devono scambiarsi informazioni sul vocabolario. I metodi esistenti danno per scontato che i due modelli condividano lo stesso insieme di token; quando non è così, il traffico cresce in modo rilevante.

La decodifica speculativa collaborativa funziona così: il modello locale abbozza una sequenza di token, il server la verifica con il modello più grande. Ma per correggere il campionamento serve comunicare la distribuzione di probabilità sui token, e questo scambio è tanto più pesante quanto più i vocabolari differiscono.

X-CoSD introduce un ricampionamento ibrido. Divide il ricampionamento residuo in due parti: la zona dei token comuni resta gestita sul dispositivo, la zona dei token esclusivi del LLM viene gestita sul server. La trasmissione della distribuzione riguarda così solo la regione condivisa, non l'intero vocabolario. È una semplificazione architetturale che riduce il carico di comunicazione senza alterare la distribuzione del modello server.

La variante X-CoSD-E sposta ancora di più il baricentro sul server. Con il server resampling e la verifica sul dispositivo, il server invia soltanto i candidati sostitutivi campionati dal proprio LLM e le relative probabilità. Il dispositivo fa una verifica locale, invece di ricevere o inviare distribuzioni complete. Anche in questo caso, secondo gli autori, la distribuzione del server LLM viene preservata.

Gli esperimenti riportati nel paper indicano un miglioramento significativo della velocità di generazione dei token, mantenendo una qualità comparabile a quella del server LLM. L'abstract non entra nel dettaglio quantitativo, ma il meccanismo è presentato come lossless.

Il punto strutturale è che X-CoSD attacca un collo di bottiglia spesso sottovalutato nei deployment ibridi: l'accoppiamento stretto tra il modello locale e quello remoto. Finora, se un team voleva usare un piccolo modello per ridurre la latenza di un servizio basato su un LLM più grande, doveva allineare i vocabolari o accettare un overhead di comunicazione. Con un metodo che gestisce in modo nativo vocabolari eterogenei, la scelta del modello locale diventa più indipendente. Questo cambia gli incentivi: i modelli on-device possono essere scelti per efficienza, compito o vincoli di memoria, senza dover replicare la testa di tokenizzazione del modello server.

C'è anche un effetto sulla sovranità dei dati. Ridurre il volume e la granularità delle distribuzioni scambiate diminuisce la superficie informativa esposta tra dispositivo e server. La variante E, in particolare, fa viaggiare solo i candidati ritenuti necessari e le loro probabilità, non l'intera distribuzione sul vocabolario. Non si tratta di una garanzia di privacy, ma di un cambiamento architetturale che può rendere più accettabili scenari in cui la generazione deve restare parzialmente ancorata al dispositivo.

Per chi progetta infrastrutture edge o ibride, il messaggio è che il costo di comunicazione non dipende soltanto dalla dimensione dei modelli, ma da come vengono gestite le distribuzioni durante il campionamento. Ottimizzare il protocollo di verifica speculativa può essere più conveniente che aumentare la banda o spostare l'intero modello in locale. È un segnale che il prossimo round di efficienza nell'inference distribuita passerà anche da scelte a livello di framework, non solo da hardware più potente. In termini di TCO, ridurre il traffico di distribuzione tocca una voce operativa ricorrente, soprattutto quando l'inference è distribuita su molti dispositivi.

Per chi valuta questi trade-off tra edge e server, AI-RADAR propone su /llm-onpremise framework analitici per confrontare costi e vincoli delle diverse architetture di deployment.

L'aspetto da osservare sarà il comportamento quando la regione comune tra i vocabolari è molto piccola rispetto a quella del server: il principio di separare il ricampionamento per regioni è il contributo su cui sarà più interessante vedere implementazioni concrete.