Due file GGUF dello stesso modello possono mostrare benchmark simili e poi divergere su un singolo token. Inside-llm, progetto open source appena pubblicato, rende osservabile quel punto di rottura: carica uno o due modelli GGUF tramite llama.cpp e mostra nel browser cosa accade durante la generazione, posizione per posizione.
La visualizzazione affianca due colonne, una per modello, e usa la luminosità per indicare la probabilità di ciascun token. Un segno magenta segnala dove i due modelli sceglierebbero in modo diverso. Si può lavorare in modalità lockstep, con entrambi i modelli che leggono lo stesso testo per un confronto pulito, oppure in modalità libera, in cui ciascun modello segue le proprie scelte finché le strade non si separano. Il pannello candidates mostra la distribuzione completa dietro ogni scelta, con barre speculari, entropia, numero effettivo di opzioni, divergenza di Jensen-Shannon e KL nelle due direzioni.
C'è poi la catena dei sampler: penalità, top-k, top-p, min-p, temperatura e grammar GBNF, tracciate stadio per stadio per mostrare quanti candidati sopravvivono a ciascun filtro e come cambia la distribuzione. La catena e il seed sono configurabili, quindi una sessione può essere riprodotta. Il timeline mostra entropia e divergenza lungo tutto il testo, con l'albero dei rami. Da qualsiasi candidato si può diramare la generazione; ogni ramo resta nell'albero e tornare a un nodo è esatto grazie a snapshot dello stato KV, senza rigenerare nulla.
La funzione logit lens è attivabile con --lens e mostra cosa ogni layer predirebbe, sia come mappa 2D sia come rilievo 3D. Il model picker permette di scegliere due modelli da una cartella o di scaricare due quantization dello stesso repository da Hugging Face; il sistema propone solo modelli B con lo stesso tokenizer e stima se la coppia entra in VRAM.
Per chi valuta deployment self-hosted, questo cambia il modo di leggere le quantization. Non si tratta più solo di spazio su disco o di VRAM occupata: si può vedere dove una quantization più aggressiva introduce differenze di comportamento, e se quelle differenze restano confinate a token poco rilevanti o emergono nei passaggi critici. È una informazione che ha valore nel calcolo del TCO, perché ridurre la precisione può far entrare un modello in meno VRAM, ma il degrado non si distribuisce in modo uniforme: va osservato nel punto in cui si manifesta.
Il progetto è costruito come un singolo processo C++17 che collega direttamente llama.cpp. Per ogni passo legge i logit completi del modello A e, sullo stesso contesto, del modello B, calcola metriche e catena dei sampler e disegna il token con un proprio sampler dotato di seed. I frame binari viaggiano via WebSocket verso una pagina Svelte 5 e Canvas 2D; three.js è caricato pigramente solo per il rilievo 3D. Lo stream compresso può essere registrato e riprodotto in una pagina statica senza motore, senza modello e senza GPU.
I pacchetti sono autonomi per Linux e Windows con CUDA o Vulkan: Vulkan copre AMD, Intel Arc e NVIDIA. Il processo ascolta su 127.0.0.1, non richiede account e non invia telemetria. I limiti vanno letti con onestà: i due modelli devono condividere il tokenizer, devono entrare entrambi in VRAM, viene usata una sola GPU alla volta, le iGPU non vengono mai impiegate e senza GPU dedicata si ripiega sulla CPU, con tempi lenti. Il formato supportato è solo testo, niente GGUFs divisi in più parti e niente modelli di embedding.
Lo sviluppatore chiede feedback soprattutto su quali coppie confrontare per prime: quantization imatrix contro non-imatrix, modello base contro fine-tuning o abliterated, Unsloth UD contro quantization standard. È una domanda meno banale di quanto sembri: perché il punto in cui due quantization divergono è spesso il dato che i benchmark aggregati non raccontano.
💬 Commenti (0)
🔒 Accedi o registrati per commentare gli articoli.
Nessun commento ancora. Sii il primo a commentare!