DeepSeek sta sperimentando un'architettura di modello con una finestra di contesto estesa a 1 milione di token, secondo quanto riportato da AiBattle su X.

Implicazioni

Una finestra di contesto così ampia permette al modello di elaborare e generare testi molto più lunghi e complessi, aprendo nuove possibilità per applicazioni come la sintesi di documenti, la risposta a domande su testi estesi e la generazione di codice.

Contesto

L'aumento della finestra di contesto è una tendenza chiave nello sviluppo dei modelli linguistici di grandi dimensioni (LLM). Finestre di contesto più ampie consentono ai modelli di "ricordare" più informazioni rilevanti durante la generazione del testo, migliorando la coerenza e la qualità delle consegne. Per chi valuta deployment on-premise, esistono trade-off da considerare, come evidenziato dai framework analitici di AI-RADAR su /llm-onpremise.