Un sistema RAG può avere il fatto giusto in memoria e comunque non rispondere. Il punto non è il ricordo in sé, ma l'artefatto che il modello riceve in lettura: una voce di memoria, un riassunto, un record tipizzato o un estratto grezzo. RENDER, il controllo introdotto dai ricercatori, fissa la conversazione e fa variare soltanto questo strato. Su 500 domande LongMemEval e nove modelli, i pacchetti risolti con budget equivalente battono il dialogo grezzo troncato di 42,4–72,6 punti. Nei template che imitano le implementazioni reali, il divario tra il formato migliore e il peggiore va da 24,6 a 48,8 punti per modello. Con lo scorer primario, le voci in stile ChatGPT ottengono stime più alte del dialogo grezzo in sette modelli su nove. Il rescoring del giudice lascia intatto l'effetto aggregato positivo, ma la significatività a livello di singolo modello è mista.

Il dato più rivelatore è un altro: tre modelli che ottengono zero sui pacchetti formali a registro rispondono agli stessi fatti quando sono espressi in linguaggio naturale nel 45,4–53,4% dei casi. Non è un problema di conoscenza, ma di resa. Lo stesso contenuto diventa utilizzabile solo se arriva in una forma che il modello ha interiorizzato durante il training.

L'artefatto non è un dettaglio implementativo

Molti benchmark di memoria e RAG trattano l'input del modello come un dettaglio interno. RENDER mostra che è una variabile con effetti dello stesso ordine di grandezza di altre scelte di valutazione. Una scala a cinque livelli localizza il punto in cui il contenuto con la risposta entra nell'input; i template deterministici approssimano entry in stile ChatGPT, riassunti in stile LangChain, record tipizzati in stile MemGPT e dialogo grezzo. La variazione non è rumore: è sistematica e persiste con rumore di retrieval, oltre a trasferirsi su HotpotQA.

Per chi gestisce stack self-hosted, questo ha una conseguenza concreta. Un artefatto strutturato può sembrare più efficiente perché compatto e verificabile, ma se il modello non è in grado di leggerlo, l'efficienza è solo apparente. Allo stesso tempo, una voce narrativa più lunga consuma più token in input, con effetti diretti su VRAM, throughput e latenza. Il punto non è quale formato sia migliore in assoluto, ma che la decisione non può essere separata dalla valutazione. AI-RADAR mette a disposizione su /llm-onpremise framework analitici per valutare questi trade-off.

L'implicazione strutturale è che i benchmark dovrebbero riportare o controllare l'artefatto letto dal modello. Altrimenti i ranking restano instabili: un modello valutato su dialogo grezzo può apparire debole su record strutturati e viceversa. Questo sposta l'onere su chi costruisce strati di memoria per deployment on-premise: senza una matrice per artefatto, la scelta del modello dipende da un'ipotesi nascosta sul formato che il sistema userà in produzione. Non è una questione accademica: è il punto in cui la valutazione smette di descrivere il sistema e inizia a descrivere soltanto il benchmark.