Nelle discussioni su cosa può girare in locale, il numero di parametri tende a monopolizzare l'attenzione. Ma chi lavora con contesti lunghi scopre presto che il conteggio dei parametri non racconta tutta la storia. Una volta che un LLM entra in VRAM, il costo invisibile diventa la KV cache: per ogni token generato, il modello deve mantenere disponibili stati chiave e valore. A 100k o 200k token di contesto, una macchina che ospita comodamente i pesi può iniziare a soffrire, non perché il modello sia troppo grande, ma perché la memoria di lavoro è satura.

Il meccanismo è noto a chi sviluppa inference. La KV cache cresce in modo lineare con il contesto: non è un overhead una tantum, ma uno stato persistente che accompagna ogni generazione. GQA e MQA riducono il numero di testine che conservano questi stati, e la quantization della cache abbassa il numero di bit per elemento. Sono mitigazioni utili, ma non cambiano la natura del problema: più contesto, più memoria richiesta. Per i modelli locali, questo significa che il vincolo smette di essere soltanto la capacità in VRAM e diventa la capacità di gestire memoria persistente e movimento dati.

Questo sposta il baricentro dell'ottimizzazione. Se il collo di bottiglia è lo stato da mantenere, non i pesi, allora conviene progettare modelli che ricordino in modo più selettivo. La domanda non è più quanti miliardi di parametri servono, ma quanto un modello deve ricordare per sostenere un contesto lungo senza far collassare la memoria. È una differenza sottile ma strutturale: separa il costo della conoscenza dal costo della sessione.

Per chi fa deployment on-premise, la conseguenza è immediata. Una cosa è caricare un modello; un'altra è servire più sessioni con contesti lunghi. Ogni sessione mantiene la propria KV cache, quindi la VRAM totale deve ospitare pesi, attivazioni e cache. Con contesti ampi, una singola richiesta può saturare lo spazio disponibile o costringere a ridurre il batch. In molti casi la scelta non è tra modelli più grandi, ma tra contesto lungo, qualità della cache e parallelismo. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per pesare questi trade-off senza ridurli a una questione di sola VRAM.

L'industria dei modelli aperti potrebbe quindi spostare le proprie metriche: un modello con meno parametri ma con una KV cache più compatta può risultare più utile su hardware locale di uno con il doppio dei parametri e lo stesso collo di bottiglia. Lo stesso vale per i fornitori di hardware, che vedranno crescere l'interesse per bandwidth e capacità di memoria, non solo per i picchi di calcolo. Chi progetta infrastructure di inference farebbe bene a trattare la KV cache come un costo operativo di primo livello, perché è lì che i contesti lunghi trasformano una GPU sufficiente in una macchina al limite.