Il prefill è uno dei costi nascosti dell'inference con Large Language Models. Ogni richiesta ricalcola i tensori key-value, anche quando parti del prompt sono già state elaborate in passato. I sistemi di prefix caching riducono lo spreco, ma impongono una condizione rigida: i prompt devono condividere un prefisso contiguo iniziale. KVBoost cambia il punto di partenza: riusa la cache a livello di chunk e non richiede che il contenuto condiviso sia in testa.

Il meccanismo si appoggia su due hash distinti. Uno registra l'identità posizionale del chunk, l'altro l'identità del contenuto. Questo doppio schema permette di recuperare corrispondenze esatte ma anche approssimative. Quando i chunk vengono incollati da posizioni diverse, gli errori di attenzione ai confini non sono un dettaglio: KVBoost li affronta con due strategie. SelectiveRecompute rielabora le regioni di confine; CacheBlendRecompute esegue un passaggio di verifica e ricalcola i token con deviazione elevata. Il risultato è un riuso che non sacrifica la qualità.

Sul piano dei numeri, la valutazione su Qwen/Qwen2.5-3B con 1.000 campioni di bug localization mostra una riduzione del time-to-first-token di 4,49 volte: 142,4 ms contro 639,1 ms. Rispetto al prefix caching, il vantaggio è del 16%, con accuratezza sostanzialmente identica: 99,2% contro 99,1%. Non è una differenza marginale per chi deve ridurre la latenza percepita senza cambiare architettura.

Il dato più rilevante per i deployment self-hosted è la combinazione di quantization asimmetrica int8/int4, suddivisione adattiva dei chunk ed eviction basata sull'importanza sotto un budget di memoria fisso. Molti sistemi di caching accelerano l'inference al prezzo di un uso aggressivo della memoria. Qui il vincolo è esplicito: il sistema deve restare dentro un limite. Questo ribalta la prospettiva: non si cerca solo il chunk giusto, ma il chunk giusto che vale la pena tenere in cache quando la memoria scarseggia.

La compatibilità con modelli RoPE-based e con decoder HuggingFace-compatible allarga il campo d'uso. Non serve modificare i pesi né intervenire sull'architettura. Per team che gestiscono codebase, documentazione lunga o pipeline di analisi su dati ripetitivi, la possibilità di riusare frammenti sparsi riduce il tempo speso in prefill su hardware locale. Il trade-off si sposta dalla potenza bruta alla gestione intelligente della memoria, un tema centrale per chi opera on-premise o in ambienti con risorse controllate.

A livello strutturale, KVBoost segnala che l'ottimizzazione dell'inference non passa solo da GPU più grandi o da tecniche di compressione del modello. Passa anche da come si organizza il contesto tra richieste diverse. I sistemi di caching a prefisso hanno dominato perché semplici da implementare; un approccio a chunk con doppio hash e correzione dei confini introduce più complessità, ma allarga il repertorio di prompt che possono beneficiare del riuso. Questo ha conseguenze di secondo ordine: chi costruisce pipeline locali può iniziare a trattare la cache KV come una risorsa da pianificare, non come un effetto collaterale dell'esecuzione.

Non ci sono numeri sulla latenza end-to-end oltre il TTFT. Resta da capire come il sistema si comporti con carichi misti, contesti molto lunghi o modelli più grandi. Ma il punto non è la soluzione universale: è il segnale che il prefill può essere ridotto senza chiedere ai prompt di iniziare nello stesso modo. Per chi valuta il deployment self-hosted, l'aspetto da osservare è il budget di memoria fisso abbinato alla quantization: è lì che si decide se un'accelerazione del genere regge nel tempo.