# Introduzione
La riconoscibilità delle attività umane è una task fondamentale nell'intelligenza artificiale. Gli ultimi progressi nel self-supervised learning e nei modelli basati su transformatori hanno migliorato notevolmente la prestazione della riconoscibilità, ma l'adattamento di grandi modelli pre-allineati a nuovi domini rimane un ostacolo prattico dovuto alle limitate risorse computazionali disponibili sulle dispositivi di destinazione.
# Tecnologie utilizzate
Questo articolo esplora tecniche di fine-tuning parametrico efficiente, in particolare Low-Rank Adaptation (LoRA) e Quantized LoRA, come alternative scalabili al fine-tuning completo dei modelli per la riconoscibilità delle attività umane. Si utilizza un framework di adattamento costruito su una rete di auto-imbottitura mascherata come base.
## Risultati
L'esperimento dimostra che sia LoRA che QLoRA possono raggiungere la prestazione di riconoscimento del fine-tuning completo con un notevole riduzione dei parametri da addestrare, l'uso della memoria e il tempo di addestramento.
## Analisi aggiuntiva
LoRA mantiene una prestazione robusta anche sotto limitato controllo supervisionale. L'aderenza del rango dell'adapter fornisce uno scarto controllabile tra la precisione e l'efficienza.
QLoRA estende questi benefici riducendo la parte del peso congelato di peso attraverso quantizzazione con un impatto minimale sulla qualità classificatrice.
📁 LLM
AI generated
Rivoluzione nell'apprendimento automatico: fine-tuning parametrico efficiente
Vuoi approfondire? Leggi l'articolo completo dalla fonte:
📖 VAI ALLA FONTE ORIGINALE
💬 Commenti (0)
🔒 Accedi o registrati per commentare gli articoli.
Nessun commento ancora. Sii il primo a commentare!