Un recente attacco alla supply chain ha compromesso le versioni 1.82.7 e 1.82.8 di LiteLLM, un framework popolare per l'interazione con modelli linguistici di grandi dimensioni (LLM), tramite il repository PyPI. Questo incidente ha spinto la comunità a cercare alternative valide e sicure.

Alternative Open Source a LiteLLM

Tra le alternative open source più promettenti, spiccano:

  • Bifrost: Scritto in Go, Bifrost si propone come sostituto diretto di LiteLLM, vantando una latenza P99 fino a 50 volte inferiore. Supporta oltre 20 provider ed è rilasciato sotto licenza Apache 2.0. La migrazione da LiteLLM richiede una semplice modifica dell'URL di base.
  • Kosong: Sviluppato da Kimi e utilizzato nella Kimi CLI, Kosong è un livello di astrazione LLM orientato agli agenti. Unifica le strutture dei messaggi e l'orchestrazione asincrona degli strumenti con provider di chat plug-in. Supporta OpenAI, Anthropic, Google Vertex e altri formati API.
  • Helicone: Un gateway AI con forti capacità di analisi e debugging. Supporta oltre 100 provider. Rispetto alle prime due alternative, Helicone è più pesante ma offre funzionalità più ricche sul fronte dell'osservabilità.

Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente. AI-RADAR offre framework analitici su /llm-onpremise per supportare queste valutazioni.