Un singolo modello che non solo capisce domande su immagini e video, ma immagina anche i fotogrammi futuri conseguenti a un’azione, il tutto in un’unica sequenza autoregressiva. È la promessa di Hy-Embodied-RxBrain-1.0, la nuova architettura embodied di Tencent, pubblicata su Hugging Face e pensata per la robotica e la pianificazione multimodale.

Al cuore del sistema batte un Mixture-of-Transformers da circa 6,2 miliardi di parametri, con percorsi dedicati per testo, visione e generazione. Invece di accostare modelli separati per capire, pianificare e sintetizzare immagini, RxBrain genera tutto in un unico flusso: quando serve, un token speciale <Image> innesca la produzione di frame tramite una testa flow-matching che decodifica nello spazio latente di un VAE FLUX congelato. Questa alternanza di ragionamento testuale e immaginazione visiva permette di scomporre un compito in passi, producendo per ciascuno sia l’azione successiva (in linguaggio) sia l’immagine-obiettivo da raggiungere.

Da un punto di vista hardware e di deployment, la scelta di unificare comprensione e generazione ha una ricaduta immediata: elimina la necessità di orchestrare più modelli specializzati, semplificando l’infrastruttura e potenzialmente riducendo il TCO (TCO) per chi esegue inference on-premise. In fabbrica o su un robot, tenere percezione, pianificazione e controllo dentro un unico contenitore riduce la complessità delle pipeline e il numero di acceleratori richiesti, a patto di disporre di una GPU con VRAM sufficiente a contenere l’intero modello e la cache delle immagini generate. Il peso di 6,2 miliardi di parametri lo colloca in una fascia compatibile con schede come la serie A6000 o equivalenti, ma senza indicazioni ufficiali su quantization o latenza è impossibile fare stime puntuali.

L’approccio interleaved, che intreccia token di ragionamento e token visivi nella stessa sequenza, modifica però le dinamiche di calcolo: ogni passo di pianificazione può produrre frame in uscita, aumentando la domanda di memoria e banda rispetto a un LLM testuale puro. Questo è un dettaglio critico per chi vuole portare il modello sul campo, dove ogni millisecondo conta. Se da un lato l’accoppiamento stretto riduce i round-trip di dati tra moduli separati – un vantaggio per l’edge – dall’altro richiede un’attenta valutazione delle risorse, soprattutto in contesti air-gapped in cui non si può contare su burst di cloud computing.

La mossa di Tencent segnala anche una direzione strutturale: i modelli fondazionali per l’embodied si stanno allontanando dall’architettura a torri (un modello per la percezione, uno per il linguaggio, uno per le azioni) verso un monolita multimodale che fa leva sulla generazione condizionata per simulare l’evoluzione del mondo. Per le aziende che gestiscono dati sensibili – pensiamo a linee di produzione o a strutture sanitarie dove le telecamere non possono lasciare i locali – disporre di un modello del genere da eseguire on-premise significa mantenere la sovranità sui flussi visivi e sui piani d’azione, senza per questo rinunciare a capacità di “immaginazione” prima impensabili al di fuori di laboratori cloud. Resta da capire quanto l’efficienza computazionale in scenari reali terrà il passo con l’ambizione architettonica.