Quando un sistema decodifica il linguaggio dal cervello, la domanda non è solo se funziona, ma cosa sta davvero leggendo. I Large Language Models hanno accelerato i progressi nel brain-language decoding, ma portano con sé un'ambiguità di fondo: il testo in uscita riflette rappresentazioni neurali oppure è in gran parte ricostruito dal modello linguistico? È qui che si inserisce MD-SigLIP, un framework di allineamento semantico strutturato con margine regolarizzato, pensato per affrontare il problema alla radice.

Il gruppo di ricerca propone di allineare direttamente gli embedding cerebrali e quelli testuali in uno spazio semantico condiviso, abilitando una decodifica basata su retrieval. Invece di chiedere all'LLM di generare una frase a partire dai segnali neurali, il sistema seleziona dallo spazio semantico l'elemento più vicino. Questo rende esplicita la corrispondenza tra rappresentazioni neurali e semantica del linguaggio, e non la lascia implicita nel processo generativo.

Il cuore tecnico è un contrastive learning sigmoideo consapevole dei duplicati, esteso con un termine listwise a margine regolarizzato. Questo termine impone vincoli di ordinamento strutturato tra cluster semantici positivi e campioni negativi. In pratica, il modello deve rispettare una gerarchia di somiglianze, non solo classificare. La struttura multi-positiva e l'ordinamento basato sul margine vengono modellati insieme, in modo da catturare l'organizzazione a manifold degli embedding linguistici riflessa nei segnali neurali. Gli esperimenti mostrano prestazioni di retrieval state-of-the-art sia sul vocabolario completo sia su subset.

La scelta del retrieval non è un dettaglio: cambia il ruolo dell'LLM. In un'architettura generativa, il modello può colmare i vuoti con la propria statistica linguistica, producendo output plausibili ma non necessariamente legati al segnale. Qui il contributo del modello resta ancorato a uno spazio semantico predefinito. Per i dati neurali, che sono tra i più sensibili, questa impostazione ha una conseguenza pratica rilevante: la pipeline può essere eseguita in locale, con un indice semantico self-hosted e senza dover inviare i segnali a un'API cloud. Questo riduce la superficie esposta e semplifica il rispetto di vincoli di residenza e consenso.

C'è anche un effetto di secondo ordine: se la decodifica basata su retrieval diventa affidabile, l'incentivo per chi sviluppa interfacce neurali si sposta dalla corsa al modello generativo più grande alla qualità degli embedding e dell'indice locale. Non è più solo una questione di quanta VRAM serve per l'inference, ma di come gestire e aggiornare un archivio semantico sotto controllo. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per valutare questi trade-off.

Il punto critico resta l'interpretabilità: un retrieval accurato non dimostra ancora che la corrispondenza catturata sia causale. Ma il confine tra segnale neurale e ricostruzione linguistica è ora più netto.