Evaluating Anomaly Detectors per Classificazione Anomala Simulata in Ambiente Industriale

In un contesto industriale, la machine learning offre potenziali soluzioni per affrontare problemi attuali come il controllo della qualità e la previsione della manutenzione predittiva. Tuttavia, anche qui si incontrano sfide uniche, tra cui l'asimmetria di classe estrema, spesso dovuta alla scarsità di dati difettosi durante la formazione.

Un recente studio presenta una valutazione approfondita degli algoritmi di detezione anomala utilizzando un insieme di dati sintetici che riflette le restrizioni reali dell'ingegneria. Il dataset è basato su una distribuzione anomala iper-sferica in 2D e 10D, con 14 algoritmi di detezione anomala sottoposti a benchmarking su dataset di formazione con tassi di anomalia tra il 0,05% e il 20% e dimensioni di training comprese tra 1.000 e 10.000 esempi (con un test dataset di 40.000 esempi).

I risultati evidenziano che l'algoritmo più performante è estremamente dipendente dal numero totale di esempi difettosi nel dataset di formazione, con aggiunta di esempi sani offrendo benefici marginali in molti casi. Con meno di 20 esempi difettosi, i metodi non supervisionati (kNN/LOF) dominano; mentre intorno ai 30-50 esempi difettosi, i metodi semi-supervisi (XGBOD) e supervised (SVM/CatBoost) mostrano grandi miglioramenti. Tuttavia, anche qui si riscontra un calo significativo della performance di detezione anomala su dataset più piccoli.

Risultati del Studio

• Algoritmi di detezione anomala: 14 algoritmi sottoposti a benchmarking
• Dataset di formazione: 1.000 - 10.000 esempi, con tassi di anomalia tra il 0,05% e il 20%
• Tasso di anomalia: 0,05% - 20%
• Dimensioni di training: 1.000 - 10.000 esempi
• Dataset di test: 40.000 esempi

Conclusioni

Il presente studio evidenzia la necessità di un approccio personalizzato per l'implementazione degli algoritmi di detezione anomala in ambienti industriali, tenendo conto della scarsità di dati difettosi durante la formazione.