Rivoluzione quantistica nei modelli LLM: CodeGEMM

# Introduzione I modelli di grandi dimensioni (LLMs), come Llama-3, sono sempre più diffusi nella ricerca e nell'applicazione pratica. Tuttavia, la loro implementazione richiede risorse hardware considerevoli, portando a problemi di memoria e latenza. La quantizzazione è una tecnica utilizzata per ridurre la dimensione dei pesi, riducendo così la memoria necessaria per l'inversione. Tuttavia, questo metodo può compromettere la precisione dell'output, particolarmente a bassa dimensionalità (ad esempio 2 bit). In questo contesto, i metodi di codifica sono stati sviluppati per esplorare la possibilità di raggiungere accurati risultati con una riduzione notevole della dimensione dei pesi. Il nuovo lavoro presenta CodeGEMM, un kernel di GEMM (Generalized Matrix Multiplication) che utilizza un approccio codicentrico per ottimizzare la performance dei modelli LLM quantizzati. ## Come funziona CodeGEMM? CodeGEMM sostituisce la dequantizzazione, una procedura complessa e lenta che richiede frequenti calcoli di centroidi e ricostruzioni dei pesi. Questo kernel precalcola gli inner product tra i centroidi e le attivazioni archiviate in un libro di codici leggero Psumbook. In questo modo, al momento dell'inversione, i codici sono directly utilizzati per raccogliere i partial sum, evitando così le look up per elemento e riducendo l'occupazione della piastra on-chip. Il kernel supporta la sistematica esplorazione delle scelte di latenza-memoria-precisione sotto una unificata implementazione. ## Risultati Testati su modelli Llama-3, CodeGEMM consegna un aumento del 1.83x (8B) e del 8.93x (70B) rispetto ai metodi di codifica convenzionali quantizzati a pari precisione. Inoltre, questo nuovo kernel migliora la complessità computazionale e l'occupazione della memoria subsystem.

# Introduction the Large Language Models (LLMs), such as Llama-3, are becoming increasingly widespread in research and practical applications. However, their implementation requires significant hardware resources, leading to memory and latency issues. Quantization is a technique used to reduce the dimensionality of weights, reducing thus the required memory for inversion. However, this method can compromise the output accuracy, particularly at low dimensionalities (e.g., 2-bit). In this context, codification methods have been developed to explore the possibility of achieving accurate results with a significant reduction in weight dimensionality. The new work presents CodeGEMM, a GEMM kernel that uses a centric coding approach to optimize performance of quantized LLMs. ## How it works tCodeGEMM replaces dequantization, a complex and slow procedure that requires frequent centroid calculations and weight reconstruction. This kernel precalculates the inner product between centroids and activations stored in a lightweight codebook. In this way, during inversion, the codes are directly used to gather partial sums, avoiding thus per-element lookups and reducing the on-chip footprint. The kernel supports systematic exploration of latency-memory-accuracy trade-offs under a unified implementation. ## Results tTested on Llama-3 models, CodeGEMM delivers 1.83x (8B) and 8.93x (70B) speedups compared to state-of-the-art codebook-based quantization at comparable accuracy. Additionally, this new kernel improves computing efficiency and memory subsystem utilization.