L'articolo solleva un punto interessante: la necessità di un ritorno all'era "sperimentale" nello sviluppo dei modelli linguistici di grandi dimensioni (LLM).

L'omologazione dei modelli

Oggi, molti modelli tendono a convergere verso la stessa personalità di "assistente utile", addestrati su dataset simili e finemente sintonizzati per compiti specifici. Questo approccio, sebbene efficace, rischia di limitare la creatività e l'esplorazione di nuove possibilità.

L'importanza dei dati non convenzionali

L'autore suggerisce di rivalutare l'utilizzo di fonti di dati "non convenzionali" per l'addestramento. Progetti come GPT-4chan, che utilizzavano dati provenienti da forum online, dimostrano il potenziale di questo approccio. L'idea è che, combinando modelli di base ad alte prestazioni con dataset di nicchia e distintivi, si potrebbero ottenere risultati sorprendenti e inaspettati.

Oltre la semplice provocazione

L'articolo cita MechaEpstein come un esempio di modello che si muove in questa direzione, ma suggerisce che c'è spazio per una maggiore creatività e originalità, superando la semplice provocazione o la risposta stereotipata.