La notizia non è soltanto che Voodoo Dynamic Quant è passato alla licenza MIT. È che la scelta del livello di quantization per ogni tensore, finora trattata come un problema di analisi statica, viene affrontata con un backward pass e gradient descent. Il progetto era stato annunciato due mesi fa dall'autore, che aveva tenuto privata la metodologia; ora il repository su GitHub espone gli strumenti per creare dynamic quants in autonomia.

Il meccanismo è più elegante di quanto molta community avesse ipotizzato. Voodoo Quant esegue in parallelo tutti i livelli di quantization per ogni tensore, congela i pesi candidati forniti dalla libreria alla base di llama.cpp e addestra un solo gate scalare per tensore e per livello. Con il progredire del training, un parametro tau viene ridotto gradualmente per spingere il sistema verso selezioni predominanti, mentre la softmax continua a distribuire gradiente anche ai livelli meno scelti. La loss misura la divergenza KL tra i logit del quant misto e un checkpoint BF16 di riferimento, premiando sia la somiglianza sia la vicinanza al target di dimensione file.

Il risultato è research-grade: non è stato studiato su modelli di grandi dimensioni. I dati citati dall'autore riguardano modelli Qwen3.5 in formato GGUF più piccoli, dove VQ si distingue soprattutto nei livelli di quantization più aggressivi. Per chi fa inference locale su macchine con poca VRAM, questo è il punto più sensibile: i quant aggressivi consentono di far entrare modelli più grandi in memoria, ma di solito impongono una perdita qualitativa marcata. Scegliere il livello per ogni singolo tensore può ridurre quella perdita senza toccare l'hardware.

Il confronto con Unsloth Dynamic 3.0 aiuta a inquadrare il cambio di paradigma. Nei test dell'autore, UD3 resta migliore sui livelli medio-alti, mentre VQ vince su quelli più spinti. Secondo l'autore, UD3 è un'evoluzione di tecniche di analisi statica oggi dominanti; Voodoo Quant è il primo metodo, a sua conoscenza, a usare un passaggio all'indietro per ottimizzare il layout di quantization per tensore. Il costo computazionale è più alto: serve hardware più potente rispetto all'analisi statica. Ma il principio è potenzialmente più efficiente nel massimizzare le prestazioni, perché sostituisce molte iterazioni di benchmarking ripetuto con un confronto differenziabile.

A livello strutturale, l'apertura del codice sposta la quantization dinamica da scatola proprietaria a componente riproducibile della pipeline locale. In contesti on-premise o air-gapped, uno strumento MIT permette di verificare il processo, adattarlo ad architetture diverse e mantenere il controllo su dati di calibrazione e checkpoint. Chi valuta deployment on-premise sa che il tema non è solo quale LLM usare, ma come prepararlo per i vincoli di VRAM e TCO; AI-RADAR pubblica framework analitici su /llm-onpremise per confrontare questi trade-off. La palla ora passa a chi ha GPU e voglia di scavare nel codice.