Nuove tecniche di quantization “statisticamente senza perdita” promettono di comprimere i LLM fino a 3,2 bit per parametro preservando la qualità, eliminando un trade-off cruciale per i deployment on-premise e accelerando l’adozione reale.
Un nuovo paper introduce la quantization “statisticamente senza perdita” (SLQ), che garantisce la qualità dell’output in termini probabilistici senza sacrificare la velocità. Definisce tre livelli di fedeltà e mostra che già sotto i 4 bit si preserva...
Un nuovo studio propone una via di mezzo tra compressione lossy e lossless: una quantization che preserva la qualità statistica dell’output, accelera l’inference e riduce i bit per parametro fino a 3,3. Implicazioni dirette per chi gestisce LLM su ha...
