Nvidia ha sviluppato una nuova tecnica, denominata Dynamic Memory Sparsification (DMS), che promette di migliorare significativamente l'efficienza degli LLM durante l'inference, riducendo i costi di calcolo fino a 8 volte senza compromettere l'accuratezza.

Funzionamento di DMS

DMS agisce ottimizzando la gestione della cache KV dei modelli. La tecnica prevede l'aggiunta di un segnale appreso di "keep or evict" (mantieni o elimina) per ogni token all'interno della cache. Questo segnale determina se un token deve essere mantenuto in memoria o rimosso, basandosi sulla sua importanza stimata per il processo di inference.

Inoltre, DMS introduce un meccanismo di "delayed eviction" (eliminazione ritardata). I token contrassegnati come a bassa importanza non vengono immediatamente eliminati, ma rimangono accessibili per un breve periodo. Questo permette al modello di estrarre eventuali informazioni utili in essi contenute prima della loro rimozione definitiva.

Vantaggi

La riduzione dell'utilizzo della memoria KV, fino a un fattore di 8, si traduce in diversi vantaggi. I modelli possono "pensare" più a lungo, operare più velocemente e gestire un numero maggiore di richieste simultanee. Per chi valuta deployment on-premise, esistono trade-off da considerare, e AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.