Pallma AI, una startup con sede a Londra, ha annunciato la chiusura di un round di finanziamento pre-seed da 1,6 milioni di dollari, guidato da Marathon Venture Capital. L'obiettivo è sviluppare una piattaforma di sicurezza specificamente progettata per proteggere i sistemi enterprise basati su agenti di intelligenza artificiale.

La sfida della sicurezza negli agenti AI

L'adozione dell'AI in ambito enterprise sta crescendo rapidamente, con modelli linguistici di grandi dimensioni (LLM) e agenti AI autonomi che passano da progetti pilota a ruoli operativi fondamentali. Questa transizione aumenta la dipendenza da sistemi capaci di operare con una supervisione umana limitata. Tuttavia, questa evoluzione introduce nuove sfide in termini di sicurezza e gestione del rischio.

Gli strumenti di sicurezza tradizionali non sono progettati per affrontare il comportamento probabilistico e adattivo dei sistemi autonomi, che possono essere vulnerabili alla manipolazione dei prompt, all'esposizione involontaria di dati o a un'autonomia eccessiva. Quando questi sistemi elaborano dati sensibili o sono autorizzati a intraprendere azioni, errori o usi impropri possono avere un impatto significativo sulla sicurezza e sulle operazioni.

La soluzione di Pallma AI

Pallma AI si propone di risolvere queste problematiche fornendo un livello centralizzato di sicurezza, visibilità e controllo per gli agenti AI. La piattaforma si integra con gli stack tecnicici enterprise esistenti, raccoglie dati applicativi e di sistema e utilizza modelli AI per monitorare, rilevare e mitigare i rischi in tempo reale. Questo include la protezione da prompt injection, l'esposizione involontaria di dati e comportamenti non sicuri degli agenti.

La piattaforma combina il rilevamento delle minacce in tempo reale con indicazioni utili e funzionalità di risposta automatizzata, andando oltre un approccio di sicurezza puramente passivo. L'azienda prevede di utilizzare i nuovi finanziamenti per espandere il proprio team, accelerare lo sviluppo del prodotto e supportare la crescente domanda per la sua piattaforma di sicurezza enterprise basata su AI.

Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.