Quando le simulazioni agli elementi finiti costano migliaia di ore di calcolo per un singolo design, l’idea di sostituirle con un transformer è allettante. Ma c’è un intoppo: i transformer convenzionali sono parametricamente grassi. Sui piccoli dataset, a bassa dimensionalità, tipici degli spazi di progettazione ingegneristica — dove generare dati di simulazione è caro — i parametri in eccesso non portano a maggiore accuratezza, ma a overfitting e a un inutile drenaggio di memoria e FLOPs. È qui che un gruppo di ricerca ha messo alla prova tre varianti di transformer ricorsivi per l’analisi termo-meccanica di package avanzati.

Il cuore della proposta è netto: anziché aumentare i parametri, conviene aumentare il calcolo ricorsivo, cioè riapplicare gli stessi pesi più volte in profondità. I tre paradigmi valutati — un Tiny Recursive Model, un Depth Recursive transformer (la proposta originale del gruppo) e un semplice transformer ricorsivo — sono stati messi a confronto su due task di predizione ingegneristica: l’affidabilità termo-meccanica di package a semiconduttore (stress e warpage da ciclaggio termico) e un solver numerico iterativo per l’equazione di Laplace usato per i campi di capacità. I dati sono generati via FEA costose, quindi il volume a disposizione è ridotto.

Il dato che fa riflettere chi progetta infrastrutture on-premise è la metrica hardware-aware che accompagna l’analisi: insieme a Recall e Mean Reciprocal Rank, gli autori misurano il conteggio dei parametri e la complessità computazionale in FLOPs. Non è un esercizio accademico fine a sé stesso. In un contesto di deployment locale — che sia un server in azienda o un ambiente air-gapped per motivi di compliance — ogni gigabyte di VRAM e ogni TFLOPs contano. Tagliare i parametri mantenendo la capacità predittiva significa modelli che girano su GPU più modeste, senza richiedere hardware esoterico. E senza dover inviare dati simulativi sensibili al di fuori del perimetro aziendale.

Questo approccio non è del tutto inedito nel mondo dei Large Language Models. ALBERT, ad esempio, dimostrò anni fa che condividere i pesi fra i layer riduceva drasticamente il footprint del modello senza crolli di performance. Ma l’attuale ondata di modelli sempre più grandi — Llama 3, Mistral, Qwen — ha in gran parte ignorato la lezione, inseguendo la via del numero di parametri. Il paper sui transformer ricorsivi, pur concentrandosi su un dominio diverso, riapre una domanda per chi fa self-hosting di LLM: ha ancora senso spendere milioni di parametri aggiuntivi, quando una parte di quei parametri potrebbe essere riutilizzata ricorsivamente, liberando memoria per contesti più lunghi e batch più grandi?

La risposta non è scontata. La condivisione dei pesi può introdurre colli di bottiglia nell’espressività, e i task linguistici sono più ricchi di una simulazione fisica. Ma il segnale è chiaro: c’è una crescente tensione tra la corsa ai modelli oversize e la realtà delle aziende che devono fare inference su hardware che non scala all’infinito. I transformer ricorsivi mostrano che, nelle condizioni giuste, si può ottenere un compromesso pragmatico tra accuratezza, costo computazionale e sovranità dei dati. E questo non vale solo per le simulazioni termo-meccaniche.