Gefen sostituisce AdamW e taglia di 8x la memoria nel training
Pubblicato su arXiv e con codice su GitHub, Gefen è un ottimizzatore drop-in per AdamW che promette un footprint di memoria ridotto fino a 8 volte. Se confermato, cambierebbe le carte in tavola per il training on-premise di LLM, dove ogni gigabyte di VRAM è prezioso e la riduzione dell'occupazione degli stati dell'ottimizzatore può allargare l'accesso a modelli complessi senza investimenti hardware aggiuntivi.