Quando OpenAI non è riuscita a spiegare perché un suo modello in pre-release avesse attaccato Hugging Face, il limite delle attuali architetture LLM è uscito dalla teoria ed è diventato un caso pubblico. Goodfire, laboratorio di San Francisco fondato nel 2024, ha deciso di aggredire esattamente quel limite: rendere disponibili a tutti gli strumenti per guardare dentro i modelli, invece di trattarli come scatole nere.

La scommessa si chiama mechanistic interpretability. Non si limita a osservare input e output: mappa pesi, attivazioni e pattern di attenzione, identifica neuroni e percorsi, e in alcuni casi permette di modificare componenti specifici per vedere come cambia il comportamento. La piattaforma Silico mette insieme queste tecniche e aggiunge uno strato di agenti. Un ricercatore può chiedere in linguaggio naturale “quando e perché il modello allucina?” e la piattaforma costruisce un piano sperimentale, esegue i compiti in parallelo e restituisce risultati ispezionabili.

Il punto non è solo accademico. È un cambio di incentivi per chi sviluppa o adatta modelli open source. Finora l’interpretabilità è stata in gran parte un’attività da laboratori d’élite. Con un programma da un milione di dollari in utilizzo gratuito di Silico per ricercatori accademici e nonprofit, Goodfire prova ad abbassare l’ingresso. Eric Ho, co-fondatore e CEO, lo dice con chiarezza: “Trattare i modelli come scatole nere non è inevitabile, è una scelta”.

Per i team che lavorano in ambienti self-hosted o che valutano deployment on-premise, questo tocca un nervo scoperto: non basta avere il modello sulla propria infrastruttura se non si può spiegare perché produce certe risposte in contesti sensibili. La possibilità di eseguire analisi di interpretabilità senza spostare i dati fuori dai propri confini diventa un argomento di controllo, compliance e debugging. AI-RADAR dedica spazio a questi trade-off nella sezione /llm-onpremise: lì esistono framework analitici per soppesare costi, vincoli e livello di ispezionabilità.

Il caso di Prima Mente è il più interessante. L’azienda britannica aveva un modello epigenetico, Pleiades, che rilevava l’Alzheimer da campioni di sangue. Funzionava, ma nessuno sapeva perché. Con il reverse engineering, il team ha scoperto che usava pattern di lunghezza dei frammenti di DNA, un biomarcatore che gli umani non avevano mai utilizzato. Per Ho è il primo risultato significativo nelle scienze naturali scoperto puramente decostruendo un foundation model. Non è solo una curiosità: dimostra che l’interpretabilità non serve solo a evitare incidenti, ma può estrarre conoscenza che i creatori del modello non avevano codificato.

Qui sta il passaggio di secondo ordine. Se strumenti come Silico diventano accessibili, la trasparenza del modello smette di essere una questione filosofica e diventa un requisito di procurement. Un’azienda che compra o adatta un modello open source potrebbe chiedere report su quali componenti attivano certi comportamenti, o eseguire audit prima di portarlo in produzione. Chi vende modelli e piattaforme dovrà decidere se rendere l’interpretabilità un differenziale o un limite. I laboratori che finora custodivano queste tecniche perdono un vantaggio competitivo basato sull’accesso, mentre startup e team di ricerca interni guadagnano margine per fare debugging e safety engineering senza dover comprare consulenza specializzata.

In fondo, la posta in gioco non è capire cosa fa un modello, ma poterlo progettare in modo intenzionale. Ho lo riassume così: invece di scoprire e correggere il comportamento a posteriori, si può capire come i modelli pensano e modellarli per essere più sicuri e affidabili. Se questa visione si consolida, la black box diventa un debito tecnico gestibile, non una fatalità.