Geodesic Attention Engine (GAE) è un kernel di attention open-source (licenza AGPL-3.0) progettato per ottimizzare l'utilizzo della memoria e l'efficienza energetica nell'elaborazione di modelli di linguaggio di grandi dimensioni (LLM).

Caratteristiche principali

  • Efficienza della memoria: GAE consente di elaborare 1 milione di token con solo 1.09 GB di VRAM, rispetto ai 4.4 TB richiesti da approcci standard. Per contesti di 65.000 token, si osserva una riduzione della memoria del 99.6%.
  • Precisione: Il kernel garantisce risultati bit-exact, senza approssimazioni o sparsità.
  • Risparmio energetico: L'utilizzo di GAE promette un risparmio energetico superiore al 75% per contesti di 8.000 token o superiori.

Implementazione

GAE raggiunge questi risultati grazie a un kernel fused che riduce i round-trip HBM da 12 a 2, mantenendo tutti i dati nei registri. Il codice sorgente è disponibile su GitHub.

Per chi valuta deployment on-premise, esistono trade-off da considerare tra costi iniziali dell'hardware e benefici a lungo termine in termini di controllo dei dati e TCO. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.