Introduzione

Gamayun è un nuovo modello LLM multilingue che ha recentemente guadagnato attenzione per la sua capacità di superare i concorrenti con una strategia di pre-allenamento innovativa.

Caratteristiche tecniche

Il modello Gamayun è stato allenato su un totale di 2.5 T token e supporta 12 lingue, con un focus particolare sulla lingua russa.

Riusciti risultati

Nonostante un budget di allenamento più piccolo rispetto ai concorrenti, Gamayun ha ottenuto risultati impressionanti su tutti i benchmark considerati e ha superato il modello Qwen2.5-1.5B in una vasta gamma di compiti inglesi e multilingui.

Implicazioni

La strategia di pre-allenamento di Gamayun offre nuove possibilità per l'adattamento dei modelli LLM in ambienti con risorse limitate, rendendoli più accessibili a un pubblico più ampio.