Found-RL: Reinforcement Learning e Foundation Model per la Guida Autonoma

Un nuovo studio introduce Found-RL, una piattaforma progettata per integrare i foundation model nel Reinforcement Learning (RL) per migliorare le capacità di guida autonoma. L'obiettivo è superare i limiti di efficienza e interpretabilità semantica che affliggono i sistemi RL tradizionali in scenari complessi.

Architettura e Componenti Chiave

Found-RL si basa su un framework di inference batch asincrono, che disaccoppia il ragionamento dei Vision-Language Model (VLM) dal ciclo di simulazione. Questo approccio risolve i problemi di latenza che ostacolano l'apprendimento in tempo reale. La piattaforma include meccanismi di supervisione come Value-Margin Regularization (VMR) e Advantage-Weighted Action Guidance (AWAG) per trasferire le capacità dei VLM esperti alle policy RL. Viene inoltre utilizzato CLIP per definire le consegne, con un meccanismo di Conditional Contrastive Action Alignment per superare i limiti di CLIP.

Performance e Disponibilità

I risultati mostrano che un modello RL leggero, integrato in Found-RL, può raggiungere prestazioni paragonabili a quelle di VLM con miliardi di parametri, mantenendo al contempo un'inference in tempo reale di circa 500 FPS. Il codice, i dati e i modelli saranno resi pubblici su GitHub.