Con una mossa che ridefinisce le ambizioni dell'inference locale, thinkingmachines ha rilasciato Inkling-Small, un Large Language Model che attiva solo 12 miliardi dei suoi 276 miliardi di parametri totali, portando sul tavolo una finestra di contesto da 1 milione di token. Il modello è immediatamente disponibile in due varianti quantizzate — NVFP4 e GGUF — che puntano dritto al deployment su macchine proprie, lontano dai data center cloud.

La scelta dell'architettura a mistura di esperti (MoE) non è casuale: tenere in memoria 276 miliardi di parametri sarebbe proibitivo, ma con soli 12 miliardi attivi per token, il throughput può avvicinarsi a quello di modelli molto più piccoli. Inkling-Small, però, non si accontenta di bilanciare capacità e costi computazionali: spinge il contesto fino a 1 milione di token, un'ampiezza che fino a poco tempo fa era dominio esclusivo dei modelli chiusi ospitati su infrastrutture cloud come GPT-4 Turbo o Claude 3.

La sfida della memoria non è (solo) nei pesi

Il vero collo di bottiglia, quando si porta un contesto di un milione di token in locale, non sono i parametri — 12 miliardi in 4-bit occupano meno di 6 GB di VRAM — ma la cache chiave-valore (KV cache). Per gestire 1 milione di token senza degradare le prestazioni, la memoria necessaria può facilmente superare le decine di gigabyte, rendendo indispensabili GPU con ampia capacità come le NVIDIA H100 o, in prospettiva, le schede consumer di fascia alta con FP4 nativo.

Ed è proprio qui che la strategia di thinkingmachines si fa interessante. Il formato NVFP4 è pensato per sfruttare gli accelerate hardware di NVIDIA per il floating point a 4 bit, una tecnicia che le nuove RTX 50-series rendono accessibile anche al di fuori dei datacenter. In parallelo, i file GGUF preparati da Unsloth offrono una via più universale, compatibile con gli stack llama.cpp e Ollama, aprendo a un ecosistema di strumenti self-hosted già consolidato.

Cosa cambia per chi valuta il deployment on-premise

Fornire un LLM con contesto da 1 milione di token che può girare su hardware di proprietà cambia le carte in tavola per settori come legale, sanitario e ricerca scientifica, dove interi corpora documentali devono essere analizzati senza cedere il controllo dei dati a terzi. La combinazione di MoE e quantization aggressiva rende pensabile un Total Cost of Ownership che non esploda con l'aumentare della lunghezza del prompt, spostando l'asticella del trade-off tra prestazioni e sovranità dei dati.

Inkling-Small non è il primo modello a offrire quantizzazioni per l'inference locale, ma la sua comparsa — con NVFP4 e GGUF pronte all'uso — segnala una maturazione del mercato: i produttori di modelli iniziano a progettare pensando alla GPU che avete sotto la scrivania, non solo al cluster da milioni di dollari. Resta aperta la domanda su quanto la gestione della KV cache su orizzonti di contesto così lunghi diventerà pratica comune senza ottimizzazioni radicali, ma intanto chi ha bisogno di profondità di analisi senza rinunciare al controllo fisico dei dati ha un nuovo alleato.