ARACH: Attenzione Globale per LLM senza Rientramento
ARACH è un plug-in che migliora i modelli linguistici di grandi dimensioni (LLM) durante l'inference, senza richiedere un riaddestramento completo. Sfrutta un meccanismo di riallocazione dell'attenzione tramite un hub di contesto adattivo, ottenendo miglioramenti nelle prestazioni con un modesto sovraccarico computazionale. Questo approccio si distingue dalle tecniche basate su prompt o ri-ranking.