Innovazione architetturale negli LLM: K-Splanifolds per decoder più efficienti
Un ricercatore ha sperimentato una nuova architettura per i decoder degli LLM, sostituendo i tradizionali MLP con una geometria di varietà spline discreta a bassa dimensionalità, descritta nel paper K-Splanifolds. Il modello da 18 milioni di parametr...