Baidu ha pubblicato su Hugging Face Unlimited-OCR 2, un modello OCR che aggira il problema della lunghezza dei documenti con una mossa diversa dal solito ampliamento della context window. Il meccanismo si chiama Sparse Reference Sliding Window Attention, abbreviato SR-SWA: riduce le interazioni tra testo e immagine a un insieme fisso di riferimenti di lavoro, per esempio 512 token. In questo modo la latenza di decodifica per singolo step e l'impronta di memoria restano quasi costanti, indipendentemente dal fatto che il documento abbia dieci o cento pagine.

La differenza rispetto agli approcci tradizionali è sostanziale. Nei transformer l'attenzione tende a crescere in modo quadratico rispetto alla lunghezza della sequenza, trasformando documenti molto lunghi in un problema di VRAM e di throughput. SR-SWA introduce un budget computazionale prefissato: invece di moltiplicare le relazioni da gestire, comprime i riferimenti visivi e testuali in un gruppo fisso. Il risultato descritto da Baidu è un parsing effettivamente illimitato dentro una finestra di contesto finita, senza colli di bottiglia di memoria che esplodono con le pagine.

Per chi guarda all'on-premise questa non è una nota tecnica marginale. Le pipeline di OCR su documenti lunghi oggi spesso costringono a scegliere tra spezzettare i file, con perdita di contesto, oppure dimensionare l'hardware per il caso peggiore. Se l'impronta di memoria e la latenza restano costanti, il provisioning non deve più inseguire la lunghezza del documento. Il tema non è solo quello dei benchmark citati da Baidu, MPDocBench per decine di pagine e MarathonDocBench per i casi estremi da centinaia di pagine: è la prevedibilità del costo operativo.

Questo cambia anche l'equilibrio tra self-hosted e cloud per i settori che maneggiano documenti sensibili e voluminosi. Studi legali, amministrazioni sanitarie e assicurazioni operano spesso con fascicoli di centinaia di pagine e con vincoli di residenza dei dati. Se la complessità computazionale non scala con la lunghezza, diventa più realistico mantenere l'intera pipeline di estrazione in locale, senza spostare contenuti riservati verso API esterne. Non è solo una questione di sovranità: è una questione di TCO, perché i costi variabili legati all'uso di servizi cloud si riducono quando il carico infrastrutturale diventa prevedibile.

Va letta anche la direzione che questa mossa segnala. L'industria ha inseguito a lungo context window sempre più ampie come risposta alla crescita dei documenti. SR-SWA inverte la prospettiva: non serve una finestra più grande, serve un'attenzione più selettiva. Per chi sviluppa modelli visual-linguistici destinati all'elaborazione di documenti, il riferimento fisso da 512 token è un segnale: la strada della compressione dei riferimenti può ridurre la dipendenza da GPU con grandi quantità di VRAM e spostare il vincolo sulla qualità dell'estrazione. Su AI-RADAR valutiamo questi trade-off anche attraverso i framework analitici della sezione /llm-onpremise.

Il punto di attrito resta, come sempre, il dettaglio operativo: la fonte non specifica quale hardware sia necessario per ottenere questi risultati né come SR-SWA si comporti su documenti con layout molto irregolari. Ma il principio è chiaro: se la memoria resta costante, il documento smette di essere la variabile che comanda il dimensionamento. Ed è esattamente il tipo di segnale che interessa a chi progetta infrastrutture locali per l'AI.