Topic / Trend Rising

Contesti da un milione di token e compromessi sulla VRAM

I nuovi modelli spingono le finestre di contesto verso il milione di token, ma la cache chiave-valore rende la VRAM un collo di bottiglia critico. Il trend evidenzia il divario tra capacità di contesto lungo e fattibilità self-hosted.

Detected: 2026-10-30 · Updated: 2026-10-30

Articoli Correlati

2026-10-29 • LocalLLaMA

Qwen4 e il contesto da un milione di token: il conto si paga in VRAM

La pull request in qwen-code segnala che Qwen4 punta a una finestra da un milione di token. Per chi fa inference self-hosted il costo non è teorico: la cache chiave-valore cresce con i token e satura la VRAM insieme ai pesi. Qwen4-27B rende probabili...

2026-10-29 • LocalLLaMA

Qwen4 e il contesto da un milione di token: il vero nodo è la VRAM

Alibaba porta Qwen4 a un milione di token di contesto. La notizia emerge da una pull request in qwen-code: Qwen4-27B atteso domani all'evento Apsara nei Paesi Bassi, Qwen4-max datato 1° novembre con possibile placeholder al 1° ottobre. L'analisi si c...

#Hardware #LLM On-Premise #Fine-Tuning
2026-10-27 • LocalLLaMA

Ling-3.1-flash-1019: pesi e base model BF16 per il fine-tuning autonomo

Il checkpoint 1019 di Ling-3.1-flash è ora su Hugging Face insieme al base model in BF16. Restano 560 miliardi di parametri totali, 25 miliardi attivi e una context window da un milione di token. L'aggiornamento porta l'AA Intelligence Index da 41 a ...

#LLM On-Premise #Fine-Tuning #DevOps
← Torna ai Topic