OLMO 3.5, il nuovo modello della serie OLMO di AI2 (Allen Institute for AI), è in arrivo. La caratteristica principale di questa versione è l'architettura ibrida, che combina layer di attenzione transformer standard con layer di attenzione lineare, sfruttando la tecnicia Gated Deltanet.

Architettura Ibrida per Efficienza

L'obiettivo principale di questa architettura ibrida è migliorare l'efficienza computazionale e ridurre l'impronta di memoria durante l'inference, mantenendo al contempo un'elevata qualità del modello. Questo risultato è ottenuto alternando layer di attenzione completa con layer di attenzione lineare.

Open Source e Tecniche Innovative

La serie OLMO si distingue per essere completamente open source, dai dataset utilizzati per il training alle ricette di training stesse. Con OLMO 3.5, il team sta sperimentando tecniche innovative, tra cui alcune introdotte da Qwen3-Next, per ottimizzare ulteriormente l'utilizzo della memoria, specialmente in task che richiedono contesti ampi.

La serie OLMO è composta da modelli densi, con il più piccolo che ha 1 miliardo di parametri.