Fractile e l'accelerazione dell'inference AI

La startup britannica Fractile, fondata nel 2022, ha annunciato un significativo round di finanziamento di Serie B da 220 milioni di dollari. L'operazione è stata guidata da Accel, Factorial Funds e Founders Fund, con la partecipazione di Conviction, Gigascale, O1A, Felicis, Buckley Ventures e 8VC. Questo capitale è destinato a sostenere lo sviluppo di hardware di inference di nuova generazione, progettato per le esigenze dei sistemi di intelligenza artificiale più avanzati, noti come "frontier AI".

La tesi centrale di Fractile è che il prossimo ostacolo significativo al progresso dell'AI risieda nel tempo e nel costo necessari per produrre output utili su larga scala. In un contesto dove le organizzazioni valutano sempre più il deployment di Large Language Models (LLM) in ambienti self-hosted per ragioni di sovranità dei dati e controllo, l'efficienza dell'hardware di inference diventa un fattore determinante per il Total Cost of Ownership (TCO) e la scalabilità.

Il collo di bottiglia dell'inference: una sfida economica e tecnica

Secondo Walter Goodwin, CEO e fondatore di Fractile, l'azienda è nata dalla convinzione che, a lungo termine, l'impatto dei sistemi AI più capaci sarebbe stato limitato dalla velocità di produzione degli output. Goodwin sottolinea che l'inference è sia il motore di ricavo dell'industria AI sia il fattore che ne limita l'espansione. I moderni LLM, nel tentativo di risolvere problemi complessi, possono generare fino a 100 milioni di token.

Con le architetture attuali, che spesso operano a circa 40 token al secondo, un singolo output di questa lunghezza può richiedere fino a un mese per essere completato. Questo scenario evidenzia un duplice problema: un limite tecnico e uno economico. La causa principale di questa limitazione è la larghezza di banda della memoria, che non è riuscita a scalare adeguatamente nelle architetture di chip esistenti. Fractile si propone di affrontare questa sfida sin dalle fondamenta, sviluppando chip e sistemi che rendano l'inference più rapida ed economicamente sostenibile.

Per le aziende che considerano un deployment on-premise, queste limitazioni si traducono direttamente in costi operativi elevati e tempi di risposta inaccettabili per applicazioni critiche. La capacità di un hardware di gestire un throughput elevato con bassa latenza è fondamentale per ottimizzare il TCO e garantire la fattibilità economica di soluzioni AI interne.

Oltre le architetture attuali: la visione di Fractile

La visione di Goodwin per il futuro non si limita ad accelerare i carichi di lavoro AI esistenti, ma mira a rendere possibili nuove tipologie di applicazioni che oggi sono irrealizzabili a causa delle attuali limitazioni dell'inference. Questo implica un'innovazione che spazia dalla ricerca sull'AI alla microarchitettura dei chip e ai processi di fonderia.

Per le aziende che operano in settori regolamentati o che richiedono ambienti air-gapped, l'hardware specializzato di Fractile potrebbe rappresentare una svolta. La possibilità di eseguire modelli complessi in modo efficiente e rapido, mantenendo al contempo il pieno controllo sui dati e sull'infrastruttura, è un requisito fondamentale per molti decision-maker tecnicici. L'innovazione in questo campo può sbloccare il valore latente dei LLM, rendendo la velocità un fattore economicamente sostenibile su larga scala.

Implicazioni per i deployment on-premise

L'investimento in Fractile evidenzia una crescente consapevolezza nel settore riguardo alla necessità di soluzioni hardware dedicate per l'inference AI. Per le organizzazioni che privilegiano la sovranità dei dati, la compliance e il controllo completo sui propri stack tecnicici, l'efficienza e la performance dell'hardware on-premise sono di primaria importanza. Le innovazioni di aziende come Fractile offrono un percorso per superare i limiti delle architetture generiche, che spesso non sono ottimizzate per i carichi di lavoro intensivi degli LLM.

La disponibilità di hardware progettato specificamente per affrontare il collo di bottiglia della larghezza di banda della memoria può ridurre drasticamente i tempi di elaborazione e i costi energetici, migliorando il TCO complessivo dei deployment self-hosted. Per chi valuta framework analitici per confrontare i trade-off tra soluzioni on-premise e cloud, l'evoluzione dell'hardware di inference è un fattore critico da considerare, poiché influenza direttamente la fattibilità e la scalabilità delle strategie AI interne.