OVH annuncia Olala Mini 7A1B: un LLM open source da 8 GB di VRAM
OVH ha presentato Olala Mini, un LLM open source da 7 miliardi di parametri con 1 miliardo di attivi, capace di girare su GPU da 8 GB e anche su CPU. L'architettura MoE usa solo una frazione del modello per richiesta, raggiunge 160 token/s su RTX A45...