Retrieval multimodale per archivi ingegneristici

Un nuovo sistema di retrieval multimodale, chiamato Blueprint, affronta la sfida di rendere ricercabili i vasti archivi di disegni tecnici e documenti ingegneristici accumulati nel corso dei decenni. Questi archivi legacy spesso mancano di metadati coerenti, rendendo difficile la ricerca e l'accesso alle informazioni.

Blueprint utilizza una combinazione di tecniche, tra cui il rilevamento di regioni canoniche nei disegni, l'OCR basato su modelli vision-language (VLM) con restrizioni regionali e la normalizzazione degli identificatori (come DWG, numeri di parte e identificativi di impianti). Il sistema fonde il retrieval lessicale e denso con un reranker leggero a livello di regione.

Prestazioni e valutazione

Il sistema è stato testato su circa 770.000 file non etichettati, generando automaticamente metadati strutturati adatti alla ricerca cross-facility. La valutazione su un benchmark di 5.000 file con 350 query curate da esperti ha dimostrato un miglioramento del 10,1% in Success@3 e un miglioramento relativo del 18,9% in nDCG@3 rispetto alla baseline vision-language più performante. I risultati evidenziano un potenziale di miglioramento ulteriore con il perfezionamento del rilevamento delle regioni e dell'OCR.

Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.