Topic / Trend Rising

Matura il runtime e il middleware per l'inference locale

llama.cpp 1.0, il supporto alla cache KV in FP8, il porting AI-assisted su IBM Spyre, il sistema operativo eterogeneo Kora e l'esperimento AMD con 50 LLM su GPU client segnalano una toolchain in maturazione per l'inference on-prem ed edge. Il valore si sposta verso il middleware che riduce i costi di porting e ottimizzazione.

Detected: 2026-11-15 · Updated: 2026-11-15

Articoli Correlati

2026-11-14 • Phoronix

Il porting dei LLM come variabile di TCO: il segnale da AMD

L'esperimento AMD con HRX Loom e Ryzen AI Max mostra che portare 50 LLM su GPU client in tre giorni non è solo una prova di forza hardware. Il vero segnale è lo spostamento del valore verso il middleware e le pipeline di porting, con effetti su self-...

2026-11-13 • Phoronix

AMD: 50 LLM su GPU client in tre giorni con HRX Loom

Un team AMD ha portato 50 modelli Hugging Face su GPU client in circa tre giorni, usando il flusso di lavoro con agenti AI e il software HRX Loom v0.1 su hardware Ryzen AI Max 'Strix Halo'. L'esperimento segnala che la barriera per l'inference locale...

#Hardware #LLM On-Premise #DevOps
2026-11-12 • PyTorch Blog

SGLang su IBM Spyre in una settimana: integrazione AI-assisted da 1.500 righe

Due sviluppatori hanno portato SGLang sull'acceleratore IBM Spyre in meno di una settimana, con un plugin di circa 1.500 righe e prestazioni pari a vLLM, 3,6× rispetto a PyTorch. Il lavoro riusa il supporto hardware di PyTorch e i punti di estensione...

#Hardware #LLM On-Premise #DevOps
2026-11-11 • Tom's Hardware

Kora: il sistema Linux che spartisce i modelli AI fra CPU, GPU e NPU

Il co-fondatore di Cyanogen presenta Kora, un sistema operativo Linux pensato per distribuire l'esecuzione dei modelli AI tra CPU, GPU e NPU. L'annuncio segnala un cambiamento strutturale: sfruttare l'intero hardware locale invece di concentrare l'in...

#Hardware #LLM On-Premise #DevOps
2026-11-11 • LocalLLaMA

llama.cpp aggiunge la cache KV in FP8: meno VRAM, contesti più lunghi

llama.cpp ha introdotto il supporto per la cache KV in FP8, riducendo l'occupazione di VRAM durante l'inference di LLM locali. Per chi valuta deployment self-hosted, il vantaggio immediato è gestire contesti più ampi su hardware esistente, ma il camb...

#Hardware #LLM On-Premise #DevOps
← Torna ai Topic