L'implementazione di modelli linguistici di grandi dimensioni (LLM) più potenti sta portando a risultati contrastanti nel chatbot in fase di sviluppo per il governo del Regno Unito. Secondo il Government Digital Service (GDS), si registra un notevole aumento della precisione, ma anche un incremento dei tempi di risposta.

Precisione vs. Latenza

I test pubblici hanno evidenziato un balzo in avanti nella accuratezza delle consegne, che è passata dal 76% al 90%. Questo miglioramento è direttamente attribuibile all'utilizzo di LLM più sofisticati. Di contro, gli utenti devono ora attendere circa 11 secondi per ottenere una risposta, un dato che solleva interrogativi sull'esperienza utente.

Considerazioni sul Deployment

Per chi valuta deployment on-premise, esistono trade-off tra performance e costi. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.