Non tutti i giorni un post su Reddit, scritto su un autobus, contiene una notizia tecnica rilevante per chi lavora con LLM in locale. L’utente /u/transanethole, nel ringraziare gli sviluppatori open source, ha rivelato un dettaglio che merita attenzione: «gli sviluppatori di vLLM hanno rilasciato tre nuove major release e, cosa ancora più importante, sembrano spariti i problemi di OOM (Out Of Memory) causati da preallocazioni e tuning». Il risultato? La finestra di contesto del modello Qwen2.5 7B, eseguito su una singola GPU NVIDIA RTX 5090, è passata da 120.000 a 240.000 token.

vLLM è un framework di serving per LLM che sfrutta la tecnica PagedAttention per gestire la memoria in modo efficiente durante l’inference. Fino a poco tempo fa, bug legati alla preallocazione della VRAM e a parametri di tuning interni potevano causare errori di memoria apparentemente inspiegabili, obbligando gli utenti a ridurre la finestra di contesto o a eseguire modelli più piccoli. La correzione di questi bug, apparentemente passata inosservata ai più, rappresenta un salto concreto per chi punta su deployment on-premise.

Raddoppiare la lunghezza del contesto senza cambiare hardware è significativo. Significa poter analizzare documenti più lunghi, riassumere interi report o mantenere conversazioni più articolate senza dover spezzare il testo in batch. Per aziende che scelgono di tenere i dati in sede per motivi di sovranità o compliance, ogni singolo byte di VRAM conta, e ottimizzazioni di questo tipo riducono il TCO (Total Cost of Ownership) spostando l’asticella di ciò che è possibile fare con una singola scheda.

La citazione della RTX 5090 è interessante perché si tratta di una GPU consumer, non di un acceleratore enterprise. Questo dettaglio, unito al modello Qwen2.5 da 7 miliardi di parametri, suggerisce che la comunità open source stia spingendo l’inference locale molto vicino a livelli che fino a ieri richiedevano configurazioni multi-GPU o il cloud. Non è un banale traguardo tecnico: è un segnale per chi progetta infrastrutture on-premise, dove il controllo diretto dell'hardware e la capacità di ottimizzare il software diventano leve competitive.

Come insegna il post originale, però, dietro questi progressi c’è un lato umano spesso dimenticato. Mantenere un progetto open source è un lavoro emotivamente pesante: dal burnout dei maintainer alla sensazione di non essere ben accolti, fino al rischio costante di conflitti. La gratitudine non è solo un gesto di cortesia, ma il collante di un ecosistema che migliora silenziosamente il software, evitando quella deriva verso il degrado che affligge tanto codice proprietario.

L’episodio di vLLM conferma che lavorare in trasparenza e con contributi diffusi porta a un miglioramento continuo. Per chi valuta il deployment on-premise di LLM, la lezione è duplice: da un lato, vale la pena aggiornare frequentemente il software, perché release dopo release si possono guadagnare capacità senza investire in nuovo ferro; dall’altro, è cruciale riconoscere che quelle release esistono grazie a una comunità che merita supporto. Un equilibrio delicato, ma che quando funziona produce risultati concreti, come 240.000 token su una sola scheda.