Cosa rende «buona» la scrittura? La domanda, cara a critici e linguisti, è stata posta a modelli di linguaggio con capacità di ragionamento. Uno studio accademico ha indagato come DeepSeek – e, in via esplorativa, Qwen QwQ – formulano giudizi estetici, estraendo la loro «teoria implicita» direttamente dalle tracce di reasoning. I risultati dicono molto sulla natura di queste valutazioni e aprono scenari concreti per chi distribuisce LLM on-premise per l’analisi del testo.

Non solo correttezza: intenzionalità e voce

La ricerca ha costruito un benchmark di 30 testi reali su sei livelli di qualità, dalla letteratura canonica ai post anonimi dei forum. Attraverso cinque repliche, DeepSeek ha raggiunto un’accuratezza media del 79,3% nel classificare le fasce. Dalle tracce di ragionamento emerge una gerarchia stabile: il modello premia l’intenzionalità espressiva, la profondità e una voce distintiva, trascurando la correttezza formale. Quando i ricercatori hanno testato brani stilisticamente allineati ma irriconoscibili (pastiche scritti ad hoc), il riconoscimento della fonte ha gonfiato i punteggi, anche se il divario reale di qualità tra originali e imitazioni confonde l’effetto.

Degrado controllato: il lessico conta poco, la struttura conta molto

Per sondare questa scala di valori, lo studio ha degradato sistematicamente cinque passi canonici applicando sei manipolazioni: semplificazione del vocabolario, appiattimento del ritmo, rimozione delle immagini, genericizzazione della voce, semplificazione strutturale e una combinazione di tutte. La perdita di qualità minore si è registrata con la semplificazione lessicale (0,41 punti ± 0,46). La perdita per struttura (2,78) e voce (2,34) è molto più alta. Il degrado combinato produce un crollo devastante (-5,64), ma l’effetto è subadditivo: la somma dei danni singoli è superiore al danno congiunto, segno che le componenti interagiscono. Il controllo con Qwen QwQ mostra lo stesso pattern qualitativo, suggerendo una proprietà trasversale degli LLM attuali.

Inference locale e sensibilità strutturale

Per le organizzazioni che valutano testi in self-hosted – che si tratti di feedback automatico sulla scrittura, controllo qualità di contenuti aziendali o auditing documentale – i risultati impongono due riflessioni. Primo: la priorità data alla struttura e alla voce impone modelli capaci di ragionamento articolato, non semplici classificatori basati su n-grammi. DeepSeek e Qwen, entrambi eseguibili on-premise con le opportune attenzioni hardware, incarnano questa direzione.

Secondo, e più delicato: la quantization. Se la valutazione dipende da feature strutturali a lungo raggio, una quantization aggressiva (INT8 o inferiore) potrebbe degradare proprio la capacità di modellare dipendenze testuali complesse, mentre l’impatto su aspetti lessicali sarebbe più tollerato. Non è una condanna, ma un vincolo di progettazione: chi fa fine-tuning per l’analisi stilistica su infrastruttura locale deve testare l’effetto del formato del modello sulle metriche di giudizio, non solo sulla perplessità.

Infine, la questione della sovranità dei dati. Valutare migliaia di documenti interni con un LLM cloud significa esporre contenuti potenzialmente sensibili. Il self-hosting elimina il rischio, ma sposta il costo sul dimensionamento corretto della VRAM e sulla scelta del modello. AI-RADAR ha esplorato in altre analisi il TCO delle configurazioni locali per inference: un nodo con una o più GPU consumer può bastare per modelli da 7-13B parametri, ma i requisiti salgono se il fine-tuning richiede precisione FP16 e contesti lunghi per catturare la struttura di documenti estesi. Il trade-off è tra fedeltà del giudizio e costo dell’hardware.

La ricerca non offre soluzioni preconfezionate, ma segnala una direzione: l’estetica computazionale è un banco di prova severo per gli LLM in produzione locale. E i modelli stessi, con le loro preferenze implicite, stanno già scrivendo le regole di questa partita.