IBM ha ampliato la famiglia Granite con tre nuovi LLM open-weight pensati per essere scaricati e gestiti in self-hosted. Granite 4.2 arriva nelle varianti da 3, 8 e 30 miliardi di parametri, tutte con architettura decoder-only e una finestra di contesto nativa di 128.000 token. Il dettaglio che sposta l'asse della discussione, però, non è soltanto la scala dei modelli: è la separazione netta tra capacità di usare strumenti. I modelli da 8B e 30B passano da un blocco di reinforcement learning agentico, pensato per compiti come usare il terminale, cercare sul web o chiamare strumenti esterni. Il 3B supporta gli strumenti, ma senza lo stesso livello di addestramento specializzato.

Questa scelta introduce una gerarchia nuova nel deployment locale. Finora le famiglie di modelli aperti tendevano a differenziarsi soprattutto per parametri e costo di esecuzione; qui la differenza è qualitativa e riguarda l'autonomia operativa. Un 3B può essere sufficiente per estrazione, classificazione o assistenza su documenti, ma per orchestrazione di azioni multi-step i modelli più grandi diventano il riferimento. Per chi costruisce pipeline self-hosted, questo significa immaginare non un singolo LLM, ma più modelli della stessa famiglia con ruoli diversi: un aspetto che incide su allocazione della VRAM, sulla scelta dell'hardware e sulla suddivisione dei workload tra node diversi.

La finestra di contesto a 128.000 token ha un significato particolare in questo scenario. Nei flussi agentici, il contesto non serve solo a ingerire documenti lunghi; deve conservare lo stato delle operazioni, i risultati degli strumenti e le istruzioni intermedie. Più ampio è il contesto nativo, meno il sistema dipende da strategie di compressione o da riassunti forzati che possono far perdere dettagli rilevanti durante un task. Per modelli che devono interagire con il terminale o con il web, la gestione del contesto non è un optional: è parte della robustezza operativa.

Dal punto di vista della sovranità dei dati e della sicurezza, l'arrivo di modelli open-weight con capacità agentica cambia il perimetro. Un LLM che può usare un terminale o navigare sul web non è più soltanto un motore di risposte: è un attore con potenziali effetti su sistemi e rete. Il self-hosted offre un vantaggio importante, perché consente di tenere sotto controllo credenziali, egress di rete e policy di sandboxing senza delegare tutto a un'API cloud. Ma sposta anche la responsabilità: la sicurezza non è più solo del fornitore del modello, ma dell'organizzazione che decide quali strumenti esporre, con quali permessi e in quali condizioni.

C'è una lettura strutturale. La direzione di IBM conferma che i modelli locali non stanno inseguendo soltanto le performance da benchmark, ma stanno cercando di diventare componenti eseguibili dentro flussi operativi reali. La competizione si sta spostando dal singolo punteggio alla capacità di completare un task composto in modo affidabile, con vincoli di contesto e di sicurezza. Per i team che valutano un deployment on-premise, il trade-off non è più solo tra qualità del testo e costo di inference, ma tra autonomia del modello, superficie di rischio e controllo degli strumenti. AI-RADAR offre framework analitici su /llm-onpremise per chi vuole valutare questi trade-off in modo sistematico.