Prompt-chaining multidimensionale per modelli linguistici compatti

I modelli linguistici di dimensioni ridotte (SLM) offrono vantaggi significativi in termini di implementazione, ma spesso faticano a raggiungere la qualità di dialogo dei modelli più grandi, soprattutto in contesti open-domain. Un nuovo studio introduce un framework di prompt-chaining multidimensionale che integra le dimensioni di naturalezza, coerenza e coinvolgimento per migliorare la qualità dei dialoghi.

Il framework è stato applicato con successo a due SLM, TinyLlama e Llama-2-7B, e confrontato con le risposte generate da modelli di dimensioni notevolmente superiori, tra cui Llama-2-70B e GPT-3.5 Turbo. I risultati mostrano che il framework completo migliora la diversità delle risposte fino al 29%, la coerenza contestuale fino al 28% e il coinvolgimento e la naturalezza fino al 29%. In particolare, Llama-2-7B raggiunge prestazioni paragonabili a modelli molto più grandi, tra cui Llama-2-70B e GPT-3.5 Turbo.

Questi risultati suggeriscono che strategie basate su prompt attentamente progettati possono rappresentare un modo efficace ed efficiente in termini di risorse per migliorare la qualità del dialogo open-domain negli SLM. Questo apre nuove prospettive per l'utilizzo di modelli più piccoli in applicazioni che richiedono interazioni complesse e naturali.

Contesto

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato capacità impressionanti in diversi compiti, ma il loro elevato costo computazionale e i requisiti di risorse limitano la loro applicabilità in alcuni scenari. La ricerca di metodi per migliorare le prestazioni dei modelli più piccoli è quindi un'area di grande interesse.