Aletheia: Ottimizzare il Fine-Tuning LoRA per LLM con Selezione Intelligente degli Strati
Aletheia introduce un metodo innovativo per il Fine-Tuning LoRA, focalizzandosi sulla selezione degli strati più rilevanti nei Large Language Models. Utilizzando una sonda a gradiente leggera, il sistema identifica gli strati critici, applicando gli adapter LoRA solo dove necessario e con allocazione asimmetrica del rank. Questo approccio ha dimostrato di accelerare il training del 15-28% su un'ampia gamma di modelli (0.5B-72B parametri), mantenendo le performance sui benchmark chiave. La ricerca evidenzia un significativo miglioramento dell'efficienza senza compromettere i risultati finali.