L'addestramento di modelli di intelligenza artificiale nel campo della cybersecurity, sfruttando dataset estesi, offre notevoli opportunità per replicare efficacemente i comportamenti del mondo reale. Tuttavia, sfide come la deriva dei dati e la scarsità di dati etichettati comportano aggiornamenti frequenti dei modelli e il rischio di overfitting.

Strategie innovative con LLM

Per superare queste difficoltà, la ricerca si concentra sull'impiego di tecniche di fine-tuning efficiente in termini di parametri per modelli linguistici pre-addestrati, combinando compattatori con diverse strategie di congelamento dei livelli. Per migliorare ulteriormente le capacità di questi modelli pre-addestrati, lo studio introduce due strategie che sfruttano modelli linguistici di grandi dimensioni (LLM).

Etichettatura e fallback

Nella prima strategia, gli LLM vengono utilizzati come strumenti di etichettatura dei dati, generando etichette per dati non etichettati. Nella seconda strategia, gli LLM fungono da meccanismi di fallback per le previsioni con punteggi di confidenza bassi. L'analisi sperimentale completa delle strategie proposte viene eseguita su diverse consegne specifiche del dominio della cybersecurity.

Risultati e implicazioni

I risultati dimostrano empiricamente che combinando modelli pre-addestrati efficienti in termini di parametri con LLM, è possibile migliorare l'affidabilità e la robustezza dei modelli, rendendoli più adatti alle applicazioni di cybersecurity nel mondo reale. Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare queste opzioni.