Ottimizzazione Top-K per LLM: prestazioni superiori a PyTorch

Un tecnico ha annunciato di aver sviluppato un'implementazione di Top-K ottimizzata per il campionamento nei modelli linguistici di grandi dimensioni (LLM), ottenendo miglioramenti significativi in termini di velocità rispetto a PyTorch su CPU. L'implementazione sfrutta AVX2, un'estensione del set di istruzioni x86, per accelerare i calcoli.

Benchmark e risultati

I benchmark mostrano che l'implementazione ottimizzata è da 4 a 20 volte più veloce di PyTorch, a seconda della dimensione del vocabolario. Ad esempio, con un vocabolario di 256.000 parole, l'implementazione personalizzata ha raggiunto una velocità di 0,079 ms, rispetto agli 1,56 ms di PyTorch. L'integrazione in llama.cpp ha portato a un aumento del 63% nella velocità di elaborazione dei prompt su un modello MoE da 120 miliardi di parametri (da 81 a 142 token al secondo).

Dettagli tecnici

L'implementazione utilizza tecniche di campionamento adattivo, AVX2 SIMD e scansione ottimizzata per la cache. Include percorsi veloci per input ordinati o costanti. L'algoritmo è single-pass e non richiede GPU. Sono incluse anche librerie DLL precompilate e l'implementazione per llama.cpp (per Windows). Il codice sorgente è disponibile su GitHub.

I modelli linguistici di grandi dimensioni (LLM) richiedono un'enorme potenza di calcolo per l'addestramento e l'inferenza. L'ottimizzazione degli algoritmi chiave, come Top-K, è fondamentale per migliorare le prestazioni e ridurre i costi computazionali.