RxnNano: Un LLM Chimico da 0.5B Parametri

Un nuovo studio pubblicato su arXiv presenta RxnNano, un modello di linguaggio di grandi dimensioni (LLM) compatto progettato per la predizione di reazioni chimiche e la retro-sintesi. Il modello, con soli 0.5 miliardi di parametri, dimostra prestazioni superiori rispetto a modelli molto più grandi (oltre 7 miliardi di parametri) in compiti specifici.

Approccio all'Apprendimento Gerarchico

RxnNano si distingue per il suo approccio all'apprendimento gerarchico, che mira a instillare una profonda comprensione chimica nel modello. Questo approccio si articola in tre innovazioni principali:

  1. Latent Chemical Consistency: Modella le reazioni come movimenti su un manifold chimico continuo, assicurando trasformazioni reversibili e fisicamente plausibili.
  2. Hierarchical Cognitive Curriculum: Addestra il modello attraverso fasi progressive, dalla padronanza della sintassi al ragionamento semantico, costruendo una solida intuizione chimica.
  3. Atom-Map Permutation Invariance (AMPI): Forza il modello a imparare la topologia relazionale invariante e a bilanciare l'apprendimento multi-task.

Performance e Risultati

RxnNano ha dimostrato un miglioramento del 23.5% nella Top-1 accuracy su benchmark rigorosi, senza l'utilizzo di tecniche di augmentation in fase di test. Questo risultato sottolinea l'efficacia dell'approccio incentrato sulla comprensione chimica rispetto alla semplice scalabilità del modello.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.