Ricerca approfondita con LLM in locale: una sfida per il 2026

Un utente del forum Reddit r/LocalLLaMA sta cercando di replicare le funzionalità di "Deep research" di ChatGPT utilizzando modelli linguistici di grandi dimensioni (LLM) eseguiti in locale. L'obiettivo è superare i limiti imposti dalla versione a pagamento di ChatGPT, mantenendo al contempo un'elevata accuratezza.

Configurazione hardware e software attuale

L'utente dispone di un sistema con 3 GPU 3090, che consente di eseguire modelli di grandi dimensioni come GPT-OSS-120B o GLM Air a velocità VRAM, oppure modelli da 30B in Q8 per una maggiore precisione. Attualmente, utilizza OpenWebUI insieme a un'istanza locale di SearXNG per la ricerca e la sintesi di informazioni.

Limitazioni e ricerca di alternative

Nonostante la potenza di calcolo disponibile, l'utente riscontra che l'accuratezza della configurazione locale non è paragonabile a quella di ChatGPT, in particolare per quanto riguarda la capacità di eseguire cicli di ricerca e analisi complessi. Sta quindi cercando suggerimenti e configurazioni alternative per migliorare le prestazioni e l'accuratezza della ricerca con LLM in locale.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.