Con un tempismo che sembra calibrato sulle esigenze di chi sta portando gli LLM dentro processi aziendali reali, Upstage ha rilasciato Solar-Open2-250B. Non è l’ennesimo modello gigantesco che richiede un datacenter per l’inference, ma un esperimento architetturale che separa il concetto di “capacità” da quello di “costo computazionale”, sfruttando una Mixture-of-Experts in cui solo 15 miliardi di parametri vengono attivati per ogni token.

Il dato che salta subito all’occhio è la finestra di contesto di un milione di token, resa possibile da una scelta radicale: niente positional encoding tradizionale (NoPE) e solo 12 dei 48 strati del modello mantengono una cache chiave-valore. Questo significa che la memoria necessaria per gestire sequenze lunghissime crolla a circa un quarto rispetto a un modello full softmax-attention di dimensioni analoghe. Non è un dettaglio, è la differenza tra poter eseguire un RAG avanzato su un intero archivio documentale con una manciata di GPU consumer e dover noleggiare un cluster A100.

L’architettura Hybrid-Attention mescola tre strati di attenzione lineare con uno di attenzione softmax: una combinazione pensata per mantenere l’espressività dove serve, delegando il grosso delle computazioni a strati che codificano l’ordine dei token in modo ricorrente, senza dover espandere la memoria quadraticamente con la lunghezza. Non siamo nella fantascienza della “memoria infinita”, ma in un pragmatismo ingegneristico che può rendere accessibili workload agentivi complessi — tool calling, ragionamento a più passi, estrazione da documenti lunghi — su hardware che molte organizzazioni già possiedono.

Chi guarda a questo modello pensando al Total Cost of Ownership vedrà qualcosa di più di un benchmark competitivo. Il trasferimento selettivo dei pesi dal precedente Solar Open 1 (102B) — solo il 2,3% dei parametri viene ereditato — non è un semplice trucco di warm-start, ma una strategia per ridurre il costo di training mantenendo la capacità di scalare. Il messaggio per il mercato è: si possono costruire modelli da 250B senza i budget di addestramento che caratterizzano i progetti delle big tech, e senza sacrificare le prestazioni in contesti agentivi.

L’impatto strutturale è duplice. Da un lato, modelli simili spostano l’asticella dell’on-premise serio, permettendo a enti regolati o con dati sensibili di tenere in casa l’intero ciclo di inference senza scendere a compromessi sulla qualità del modello. Dall’altro, esercitano una pressione al ribasso sui prezzi delle istanze cloud specializzate, perché un’azienda che può eseguire agenti su un nodo bare-metal da qualche decina di migliaia di euro non è più cliente obbligato delle GPU as a Service.

Resta da sciogliere il nodo della latenza: l’attenzione lineare è efficiente in memoria, ma la sua natura ricorrente può introdurre colli di bottiglia seriali che in carichi interattivi vanno valutati con attenzione. È uno dei motivi per cui Solar-Open2 si presenta come “specialista agentivo” piuttosto che generalista: le sue scelte di design premiano scenari in cui il modello macina documenti e catene di tool, non necessariamente chat velocissime. Chi sviluppa sistemi di automazione documentale o coding assistito potrebbe trovare qui un vantaggio competitivo concreto, già a partire dalla disponibilità dei pesi in formato open.