Microsoft Research ha pubblicato Fara1.5-27B, un computer use agent per browser web che segna un cambio di paradigma rispetto alla solita automazione basata su DOM o API. Il modello prende decisioni osservando esclusivamente screenshot della pagina, senza mai accedere all'albero di accessibilità o al codice sottostante. Azioni come cliccare, digitare, fare scroll o visitare URL vengono emesse con coordinate pixel esatte e argomenti strutturati, mentre la cronologia del task e il ragionamento interno scorrono in formato testuale.

Fara1.5-27B è frutto di un fine-tuning supervisionato su Qwen3.5-27B usando dati generati da FaraGen1.5, un pipeline multi-agente che prima sintetizza task web, poi esegue le traiettorie necessarie per risolverli e infine verifica i risultati prima di includerli nel training set. Il tutto è stato co-progettato con MagenticLite, il framework di deployment raccomandato per ricerca e produzione.

La scelta di una percezione puramente visiva porta con sé flessibilità e rischi ben precisi. Senza legami con il DOM, il modello può funzionare su qualsiasi pagina renderizzata, anche in applicazioni che non espongono interfacce programmatiche. Tuttavia, è esattamente qui che si annidano i limiti segnalati dagli stessi ricercatori: rendering ingannevoli, iniezioni di prompt nascoste nel contenuto visibile e ambiguità nell’interpretazione dell’interfaccia utente possono far deragliare l’agente. In un percorso multi-step, un singolo clic sbagliato genera cascate di errori difficili da recuperare.

Per chi valuta deploy on-premise, il profilo di Fara1.5-27B è un test interessante di sovranità e controllo. Il modello, con i suoi 27 miliardi di parametri, richiede GPU con VRAM adeguata (probabilmente almeno una A100 80GB o più schede in parallelo) e il pipeline di inference MagenticLite aumenta ulteriormente il carico computazionale. Ma c’è un vantaggio strutturale: tutti i dati – screenshot, azioni, cronologia – restano dentro il perimetro aziendale, senza transitare su cloud esterni. È il classico trade-off che AI-RADAR analizza nei suoi framework su deployment locale: maggiore sovranità dei dati in cambio di investimento hardware upfront e competenze interne per l’infrastruttura.

Microsoft tiene a precisare che il modello è solo per l’inglese e sconsigliato per ambiti ad alto rischio (legale, sanitario, finanziario) o per utilizzi commerciali senza ulteriori salvaguardie. Nonostante questi paletti, Fara1.5-27B rappresenta un segnale chiaro: i grandi player stanno spingendo gli agenti visivi da laboratorio a strumenti quasi pronti per ambienti controllati. Il fatto che siano già disponibili anche le varianti più piccole (4B e 9B) suggerisce una strategia di copertura di diversi tier hardware, dal server on-premise fino a workstation più modeste.

Resta da capire quanto la dipendenza esclusiva dalla vista renderà questi agenti vulnerabili ad attacchi visivi e quanto peserà il costo computazionale rispetto ad approcci ibridi che combinano DOM e visione. Nel frattempo, per chi automatizza processi web ripetitivi in ambienti aziendali, la disponibilità di un modello che promette di “vedere il browser come un umano” è una freccia in più nell’arco dell’automazione – con tutte le cautele del caso.