Nel riconoscimento delle emozioni, la fusione multimodale ha sempre avuto un obiettivo implicito: trovare un punto d’incontro tra i segnali. Quando volto, voce e linguaggio raccontano storie diverse, gli approcci standard tendono a smussare la divergenza per produrre una rappresentazione condivisa. Il Modality Discrepancy Transformer (MDT) fa esattamente il contrario: prende il disaccordo tra i canali e lo trasforma nel fulcro del modello.

Parte dal framework conflict-aware di Bekhouche et al., ma porta la rappresentazione da sei a nove token: tre embedding modali, tre feature di differenza assoluta e tre feature di discrepanza basate sul prodotto di Hadamard, tutte apprese tramite proiezioni lineari. I nove token attraversano la self-attention del Transformer; la modulazione FiLM condiziona le rappresentazioni in base al testo, mentre il fine-tuning sfrutta LoRA. Un ramo di late fusion guidato dal testo combina una testa ausiliaria text-only con l’output multimodale in inference.

Sul dataset BAH della terza ABAW Challenge, MDT raggiunge 0,7408 Macro F1 sul test etichettato e 0,7368 sulla classifica privata, superando di oltre dieci punti la baseline più forte, con addestramento in meno di venti minuti su una singola GPU.

La tesi implicita è che nei contesti clinici l’ambivalenza e l’esitazione non sono stati facilmente separabili: sono il prodotto di un conflitto visibile. Un modello che sopprime il disaccordo rischia di scambiare il conflitto per rumore e di allenarsi su una versione ripulita del fenomeno. MDT, invece, codifica la distanza tra i segnali in modo esplicito, dando alla self-attention la possibilità di ragionare sulle incongruenze. Il vantaggio non sta solo nel Macro F1 più alto, ma nel tipo di feature che il sistema decide di considerare.

Chi lavora su video clinici sa che i dati dei pazienti sono sensibili e che l’elaborazione locale riduce i rischi di esposizione. Il fatto che MDT si addestri su una singola GPU in meno di venti minuti è un dettaglio tecnico con implicazioni operative: abbassa la soglia per chi valuta deployment on-premise o edge, dove i vincoli di VRAM e di costo operativo contano. La fonte non specifica il modello di GPU, ma il tempo riportato indica un carico computazionale modesto rispetto a molti carichi di fine-tuning multimodale. Dove la sovranità dei dati impone di mantenere i campioni clinici nel perimetro locale, un modello che non richiede un cluster distribuito ha un peso specifico diverso. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per esaminare questi trade-off.

Da un punto di vista strutturale, il lavoro segnala una direzione architetturale: non basta aumentare la capacità del modello o il volume dei dati, serve rappresentare esplicitamente le relazioni tra modalità. Per chi progetta pipeline di inference, la conseguenza è che i componenti di estrazione feature per volto, voce e linguaggio devono restare disponibili come flussi paralleli, non essere fusi troppo presto. Questo cambia il dimensionamento dell’infrastruttura: servono motori audio, modelli di visione e modelli linguistici che operino in sincronia, con il Transformer che agisce solo dopo la costruzione dei token di discrepanza.

Un osservatore attento può chiedersi se il guadagno su BAH si trasferirà ad altri domini. La fonte non lo dice, ma il principio della discrepanza modale non è legato alla clinica: qualsiasi scena in cui i segnali non verbali contraddicono il parlato potrebbe beneficiare di una rappresentazione che non appiattisce il conflitto. Resta da capire se la stessa architettura regge quando le modalità sono più sbilanciate o i dati sono rumorosi. Ma per chi deve rilevare stati ambivalenti in video sensibili, MDT offre un punto di riferimento concreto: il disaccordo non è un difetto da eliminare, ma la materia prima dell’analisi.