Inside-llm: osservare dentro un LLM e confrontare due quantization token per token
Un nuovo strumento open source osserva in tempo reale cosa accade dentro un LLM e confronta due quantization dello stesso modello token per token. Inside-llm usa llama.cpp e GGUF, gira in locale e mostra probabilità, divergenza, catena dei sampler e logit lens. Per chi valuta deployment self-hosted, rende più trasparente il comportamento delle quantization prima di scegliere quale caricare in VRAM.