Un recente esperimento ha esplorato l'architettura dei modelli linguistici di grandi dimensioni (LLM), concentrandosi sull'effetto della ripetizione di livelli all'interno del modello.

Dettagli dell'esperimento

L'esperimento, denominato RYS II, ha utilizzato il modello Qwen3.5 27B e ha testato l'ipotesi che gli LLM possano sviluppare una sorta di "linguaggio universale" interno. L'analisi delle rappresentazioni latenti nei livelli intermedi del modello ha mostrato una maggiore similarità tra contenuti identici in cinese e inglese rispetto a contenuti diversi nella stessa lingua. Questo suggerisce che il modello potrebbe astrarre concetti a un livello più profondo, indipendente dalla lingua di input.

Architettura e risultati

La ripetizione di blocchi nei livelli intermedi dell'architettura transformer si è dimostrata la strategia più efficace. Sono stati resi disponibili diversi modelli pre-addestrati su Hugging Face, con diverse configurazioni. Il ricercatore suggerisce che un fine-tuning dei modelli con livelli ripetuti potrebbe portare a risultati all'avanguardia (SOTA) per modelli di queste dimensioni.

Considerazioni

L'articolo originale menziona l'ottimizzazione dell'utilizzo della VRAM tramite formati specifici. Per chi valuta deployment on-premise, esistono trade-off tra performance, TCO e requisiti di memoria che AI-RADAR aiuta a valutare.