Il punto di partenza non è un datacenter con GPU di ultima generazione, ma un lotto di schede FPGA nate per il mining. Il progetto llm.vhdl documenta un esperimento concreto: far girare un LLM da 9 miliardi di parametri quantizzato a INT4 su due SQRL FK33, schede con 8 GB di HBM2 e circa 400 GB/s di banda, acquistate a 280 dollari l'una. A 75 MHz il sistema produce circa 2 token/s durante la generazione. Il dato non sfida le piattaforme commerciali, ma è sufficiente per osservare qualcosa di più importante: il costo di ingresso per sperimentare l'inference on-premise su logica programmabile sta scendendo sotto la soglia delle centinaia di dollari.

Il progetto usa una pipeline distribuita tra due FPGA per Qwen3.5-9B: il prefill arriva a circa 6 token/s su prompt da 256 token, scende a 5,5 token/s su 2.300 token; la generazione passa da 3,2 token/s in contesti brevi a 2,4 token/s tra 2.000 e 3.000 token. La verifica è fatta strato per strato contro llama.cpp. Il collo di bottiglia non è la mancanza di banda HBM2, ma l'efficienza dell'RTL e la frequenza di clock, ancora ferma a 75 MHz. Alzare il clock richiede ottimizzazioni della logica e una tensione di core più alta. Per chi valuta deployment self-hosted, questo è il trade-off centrale: l'FPGA offre controllo pieno sulla pipeline e sull'architettura di memoria, ma paga con una curva di sviluppo RTL e prestazioni per watt lontane da un'integrazione ASIC.

Il salto al 27B e i limiti della memoria

Il progetto estende la stessa architettura al Qwen3.8-27B INT4, ma solo tramite stime derivate dal profilo per operazione del 9B. Su un Jungle Cat, che combina due die XCVU35P e costa 375 dollari come scheda ex-mining, il design attuale darebbe circa 1,1 token/s in generazione a contesto breve e 0,5 token/s a 16k. Ridimensionando l'RTL per il die più grande e portando il clock a 200 MHz, la stima arriva a circa 8 token/s in generazione, o 15 token/s con tensor parallelism tra i due die. Servono però quattro VU35P per coprire l'intera finestra di contesto da 262k token, perché con due die la cache KV non trova spazio accanto ai circa 14,5 GB di pesi oltre i 45k token. A quel punto la stima è di circa 25 token/s in prefill e generazione su contesto breve, 10 token/s a 16k e 1 token/s al contesto pieno.

L'ombra dell'ASIC e la lezione per l'on-premise

Per dare un confine teorico al progetto, l'autore ha chiesto a Opus 5.5 di stimare cosa accadrebbe portando lo stesso RTL su un processo TSMC N3 del 2023 con sei stack HBM3 da 4,9 TB/s. A 2 GHz il 27B arriverebbe a circa 294 token/s su contesto breve, 106 token/s a 16k e 10 token/s a 262k, con un consumo stimato tra 125 e 340 W. È una stima di frontiera che non rende l'ASIC una scelta di deployment realistica per un singolo sperimentatore, ma segnala la distanza tra un hardware riconfigurabile e un'implementazione specializzata. La novità strutturale è un'altra: il progetto non tratta l'FPGA come un semplice acceleratore generico, ma come banco di prova per capire dove si formano i colli di bottiglia di un LLM on-premise, inclusa la gestione della KV cache e il carico della tensor parallelism. Per chi valuta deployment on-premise, AI-RADAR pubblica framework analitici su /llm-onpremise per valutare questi trade-off. Il repository è rilasciato con licenza MIT. Le due BC-250 acquistate a 60 e 75 dollari, usate per programmare il Jungle Cat, completano un laboratorio il cui costo totale resta sotto i 500 dollari.