La sezione Frameworks osserva il livello software che trasforma i modelli in sistemi operativi: orchestrazione, pipeline RAG, osservabilita, serving ed evaluation. Trovi aggiornamenti su LangChain, tooling vettoriale, runtime di inferenza e pattern di deployment realmente utili per iterare velocemente senza perdere stabilita. Gli articoli sono selezionati per aiutare scelte architetturali concrete, con collegamenti alla pillar frameworks, alla pillar LLM e ai trend.
L'annuncio all'Advancing AI day segna una svolta software: ROCm.AI promette di abbassare le barriere per chi costruisce inference e training su GPU AMD, con un impatto diretto su chi valuta deployment on-premise e sovranità dei dati.
Meta e Google collaborano per portare il DSL Helion sulle cloud TPU. Il compilatore genera codice Pallas ottimizzato, scegliendo tra due strategie di pipeline in base alla lunghezza della sequenza. Con flash attention, raggiunge 838 TFLOPs su TPU v7. La portabilità tra GPU e TPU riduce il lock-in hardware.
Con l'aggiornamento su GitHub poco prima del keynote di Lisa Su, AMD rafforza il supporto per modelli on-device su Ryzen AI. Ottimizzazioni e nuovi modelli spingono la sovranità dei dati e l'uso enterprise.
Un nuovo operatore, HyenaND, promette di sostituire l'attention nei dati multidimensionali con convoluzioni lunghe input-dipendenti. Scalabilità subquadratica O(L log L) e implementazione CUDA ottimizzata garantiscono velocità reale su genomica, imaging medico e simulazioni PDE. Ibrido con attention, batte sia i puri transformer che i modelli ricorrenti. AI-RADAR analizza le implicazioni per chi cerca efficienza computazionale e deployment locale.
Raccogliendo dati da una piattaforma commerciale globale, FineServe offre la prima caratterizzazione granulare dei carichi di lavoro reali per il serving di LLM multi-modello. Emergono pattern di arrivo e consumo di token nettamente diversi per architettura, scala e tipo di compito, utili a valutare strategie di routing e pianificazione della capacità su piattaforme di serving eterogenee.
BatchDAG fa generare a un LLM un grafo di esecuzione per interrogare dati aziendali su larga scala, abbattendo le chiamate al modello del 97% senza perdere qualità rispetto a pipeline ingegnerizzate a mano. Un segnale forte per chi vuole analytics on-premise senza dipendenza dal cloud.
Il framework Evidence Chain Evaluation (ECE) permette agli LLM di astenersi dal giudizio quando le prove sono deboli, evitando verdetti forzati. Su ECE-Bench, accuratezza selettiva del 97.8% sulle risposte date, con 6 casi su 95 rimandati. L’astensione si concentra nelle fonti meno affidabili. Un meccanismo di sicurezza particolarmente rilevante per deployment on-premise in ambiti sensibili dove la sovranità dei dati incontra la necessità di risposte affidabili.
La conferenza di San Jose porta in primo piano tool di osservabilità per CUDA graph, l'uso di TorchDynamo per accelerare e debuggare modelli, e l'addestramento multi-nodo. Un segnale chiaro per chi gestisce infrastrutture AI locali.
Parlare con Cat Wu di Anthropic svela come il vero salto negli strumenti di sviluppo AI non stia solo nei modelli, ma nel software che li orchestra. Un'analisi sulle implicazioni per chi cerca controllo, sovranità e deployment on-premise.
Uno studio svela la struttura dell’errore algebrico quando si sostituisce la DFT con la trasformata di Hadamard nella convoluzione: cancellazione esatta in alcune posizioni, spazio nullo logaritmico ed errore medio governato da uno scalare di allineamento. L’errore raddoppia asintoticamente l’energia in uscita, tranne per filtri allineati al sottospazio a prova d’errore. Rilevante per chi sceglie scorciatoie computazionali nei deployment on-premise.
Un framework multi-agente potenzia gli LLM con un knowledge graph costruito automaticamente per la diagnosi sequenziale. Su dataset clinici, con backbone come DeepSeek-V3 e Llama-3.3, GraphDx alza il tasso di successo dal 50-68% al 79-93% e riduce i costi dei test del 20-54%, dimostrando che ragionamento deterministico e pianificazione sensibile ai costi rendono l’automazione medica più efficiente e interpretabile.
Un proxy di test cattura le instabilità delle chiamate LLM che azzerano la cache, aumentando la latenza e il costo computazionale. Il problema, comune a molti harness, impatta chi esegue modelli in locale e cerca efficienza senza rinunciare al controllo.
La nuova release della libreria neurale oneDNN, ora sotto UXL Foundation, introduce ottimizzazioni esplicite per i futuri processori Intel Nova Lake e le istruzioni AVX10.2. Per chi gestisce inference on‑premise su x86, il segnale è chiaro: l’ecosistema CPU Intel punta a ridurre il divario con le GPU, offrendo ai sysadmin una leva concreta sul TCO.
Il porting GGML del modello TRELLIS.2 raggiunge la parità qualitativa con l’implementazione di riferimento. La pipeline è utilizzabile su GPU moderatamente potenti o anche su CPU, senza dipendere da CUDA. Un passo concreto verso la generazione 3D completamente locale e sovrana.
La nuova release della libreria BLAS open-source affina il parallelismo e abbraccia toolchain memory-safe. Per chi fa inference LLM su CPU in ambienti con vincoli di sovranità, queste ottimizzazioni contano più di tanti benchmark.
L’approccio IMEX scardina il concetto di importanza delle feature per catturare effetti non additivi tra variabili. Per chi gestisce modelli in-house, una trasparenza a questo livello cambia il modo di validare, monitorare e fidarsi delle previsioni.
HG-RAG sostituisce i classici store documentali con un grafo di conoscenza gerarchico: il framework recupera contesto strutturato navigando nodi padre, vicini e figli. I test mostrano meno allucinazioni e maggiore coerenza, specialmente su query multi-hop e relazionali.
AMD rilascia GAIA 0.22, un assistente AI per le email che gira tutto in locale. Insieme a Lemonade 11.0 e ROCm 7.14, segna un passo deciso verso l’ecosistema on-premise. Un’analisi di cosa cambia per la sovranità dei dati e per chi cerca alternative solide al cloud.
Un nuovo studio traccia passo dopo passo il calcolo dei gradienti in reti neurali fisico-informate (PINN), svelando il meccanismo a doppio livello di differenziazione di PyTorch. Un’analisi che diventa cruciale per chi sviluppa e addestra modelli scientifici su infrastruttura propria, dove trasparenza e controllo sono irrinunciabili.
Nei test, un neofita con SPINE ha portato il successo operativo di bracci bimanuali dal 75% al 100% in meno di 14 minuti. Il framework multi-agente trasferibile segnala un cambio di paradigma: la calibrazione dei robot non è più artigianale ma sistematica. Per le realtà che operano in edge e on-prem, il TCO cambia volto.