Il dilemma degli LLM: conoscenza vs. agentività

Un utente della community LocalLLaMA ha sollevato un punto cruciale riguardo l'attuale direzione dello sviluppo dei modelli di linguaggio di grandi dimensioni (LLM). L'interesse iniziale verso gli LLM era legato alla loro capacità di fornire conoscenza personalizzata e contestualizzata, superando il rapporto segnale-rumore dei motori di ricerca tradizionali.

La priorità all'agentività e il compromesso sulla conoscenza

Attualmente, lo sviluppo sembra concentrarsi sull'incremento delle capacità di agentività dei modelli, ovvero la loro abilità di agire autonomamente per raggiungere obiettivi specifici. L'utente teme che questa enfasi sull'agentività, data la limitata capacità dei modelli (numero di parametri), possa compromettere le performance in altri ambiti, in particolare nella capacità di immagazzinare e recuperare conoscenza.

Alla ricerca di un modello "sapiente"

La domanda posta è se esistano laboratori o iniziative focalizzate sullo sviluppo di modelli semplici, ma dotati di una vasta conoscenza. L'obiettivo sarebbe creare un'alternativa offline e onnisciente a Wikipedia, basata su LLM, che possa essere consultata per ottenere informazioni precise e affidabili. Per chi valuta deployment on-premise, esistono trade-off da considerare, come discusso in AI-RADAR /llm-onpremise.