MrRoPE: Estensione del contesto per LLM senza fine-tuning

Un nuovo articolo di ricerca presenta MrRoPE (Mixed-radix Rotary Position Embedding), un metodo innovativo per estendere la finestra di contesto dei modelli linguistici di grandi dimensioni (LLM) senza richiedere un fine-tuning. La tecnica si basa su una formulazione generalizzata che considera le diverse strategie di estensione RoPE esistenti come distinte strategie di conversione del sistema numerico.

Approccio unificato e nuove estensioni

MrRoPE offre un approccio teorico unificato per l'estensione di Rotary Position Embedding (RoPE), affrontando la frammentazione delle strategie attuali. L'articolo introduce due nuove estensioni training-free, MrRoPE-Uni e MrRoPE-Pro, basate su strategie di conversione uniforme e progressiva. MrRoPE-Pro dimostra notevoli capacità di generalizzazione 'train short, test long'.

Performance e vantaggi

Nei test, MrRoPE-Pro ha mantenuto un recall superiore all'85% nel test Needle-in-a-Haystack con un contesto di 128K token. Inoltre, ha ottenuto una precisione più che doppia rispetto a YaRN nei sottoinsiemi di retrieval e dialogo di Infinite-Bench. L'analisi teorica conferma che MrRoPE-Pro aumenta efficacemente il limite superiore della lunghezza di codifica raggiungibile da RoPE.

Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.