Un aspetto spesso trascurato nello sviluppo di modelli linguistici di grandi dimensioni (LLM) è l'efficienza del tokenizzatore, soprattutto in contesti multilingue.

L'approccio di Anthropic

Un utente ha fatto notare come Anthropic non abbia mai rilasciato pubblicamente i tokenizzatori dei suoi modelli, rendendo impossibile analizzarne le prestazioni. Questo contrasta con altre aziende leader nel settore come Google, OpenAI e Meta, che hanno reso disponibili i tokenizzatori dei loro modelli Gemma, GPT e Llama rispettivamente.

Implicazioni per la comunità

La mancanza di trasparenza sui tokenizzatori di Anthropic rende più difficile per la comunità scientifica e gli sviluppatori comprendere appieno e confrontare le prestazioni dei modelli Claude rispetto ad alternative open-source. Per chi valuta deployment on-premise, esistono trade-off legati alla trasparenza dei modelli. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.