Le ottimizzazioni nel serving stanno migliorando throughput e utilizzo: i GEMM autotuned di Helion in vLLM, l'attenzione TLX su Blackwell, l'elasticità prefill-decode di FluidPD e il bilanciamento di rete di BIG-IP Next riducono lo spreco di GPU.
FluidPD affronta il disallineamento tra prefill e decode nel serving LLM senza aggiungere worker. FluidToken scarica parte del prefill sui worker di decode quando c'è margine; FluidRole riassegna i ruoli in esecuzione senza ricaricare il modello. Su ...
Il team PyTorch ha consolidato decodifica e codifica di immagini, video e audio in TorchCodec. TorchVision e TorchAudio ora si concentrano sulle trasformazioni, mentre modelli e dataset passano all'ecosistema Hugging Face. La mossa semplifica dipende...
L'integrazione di Helion nel backend lineare di vLLM mostra che un solo kernel GEMM con autotuner ahead-of-time può coprire varianti specializzate e migliorare l'inference fino al 10% su Qwen3. Per chi gestisce LLM self-hosted, il segnale è duplice: ...
Red Hat e Meta hanno integrato Helion nel backend lineare di vLLM. Un'unica implementazione GEMM copre Standard, Split-K e Swap-AB, con autotuning per forma su GPU Hopper. Nei test su H100, i kernel superano CUTLASS, FlashInfer e DeepGEMM, con miglio...
Il test F5 su BIG-IP Next for Kubernetes mostra che lo stesso cluster GPU può rendere più del triplo agendo su bilanciamento e instradamento del traffico. Per i deployment on-premise l'efficienza per nodo diventa centrale per il TCO; il rischio è leg...
Il kernel attention di Meta per GEM, riscritto in TLX, supera FlashAttention-4 sui carichi jagged Blackwell: +13% in forward e +50% in backward in media, con circa 3.200 righe contro 10.000. Il risultato mostra che il controllo hardware esplicito non...
Nel laboratorio F5, l'uso di BIG-IP Next per Kubernetes ha mostrato prestazioni più che triple a parità di cluster GPU. Il dato sposta l'attenzione dal solo calcolo all'efficienza di rete e orchestrazione: per i deployment on-premise di LLM, il traff...
