ARC-AGI-2: Un Transformer per il ragionamento simbolico

Un nuovo studio pubblicato su arXiv presenta un sistema basato su architettura Transformer progettato per affrontare l'Abstraction and Reasoning Corpus (ARC), un benchmark che valuta la capacità dei modelli di generalizzare oltre la semplice corrispondenza di pattern. L'obiettivo è inferire regole simboliche a partire da un numero limitato di esempi.

Architettura e Metodologia

Il sistema proposto combina inference neurale con priorità strutturali e adattamento online. L'approccio si basa su quattro idee chiave:

  1. Riformulazione del ragionamento ARC come problema di modellazione di sequenze, utilizzando una codifica compatta del task con soli 125 token.
  2. Introduzione di un framework di augmentation basato su simmetrie di gruppo, attraversamenti di griglia e perturbazioni di automi.
  3. Applicazione del test-time training (TTT) con adattamento LoRA, permettendo al modello di specializzarsi su ciascun task.
  4. Progettazione di una pipeline di decodifica e scoring che aggrega le probabilità attraverso viste aumentate del task.

Risultati

Il sistema finale dimostra un miglioramento significativo rispetto alle baseline Transformer e supera i precedenti risolutori neurali ARC, avvicinandosi alla generalizzazione a livello umano. I componenti lavorano in sinergia: le augmentation espandono lo spazio delle ipotesi, il TTT affina il ragionamento locale e lo scoring basato sulla simmetria migliora la coerenza della soluzione.

Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.