GPT-OSS: un benchmark inatteso per i modelli LLM locali

Un appassionato di modelli LLM eseguiti localmente (fino a 120B parametri) ha sollevato un'interessante questione: perché GPT-OSS 120B, un modello open-source relativamente datato, continua a offrire prestazioni così elevate rispetto alle alternative più recenti? Nonostante siano trascorsi diversi mesi dalla sua pubblicazione, GPT-OSS si distingue per la sua velocità, la sua capacità di gestire diverse attività e la sua efficacia nel tool calling.

Il modello, che occupa 64GB a piena precisione, sembra particolarmente efficiente. L'utente si chiede perché i nuovi modelli non replichino o migliorino le caratteristiche che rendono GPT-OSS così valido. In particolare, viene evidenziato l'addestramento nativo a 4-bit, che dovrebbe ridurre i costi computazionali. Inoltre, nonostante l'esistenza di modelli A3B più piccoli e recenti, GPT-OSS rimane più veloce. L'interrogativo finale riguarda il dataset utilizzato per l'addestramento: è possibile che OpenAI disponesse di un dataset di qualità superiore, tale da garantire la rilevanza del modello anche a distanza di tempo?

Per chi valuta deployment on-premise, esistono trade-off tra performance, TCO e requisiti di sovranità dei dati. AI-RADAR offre framework analitici su /llm-onpremise per valutare queste dimensioni.