📖 AI-Radar · 2026-W30

L’on-premise accelera mentre i modelli USA si blindano: sovranità e TCO ridisegnano la corsa AI

La chiusura dei modelli di frontiera americani non frena l’adozione dell’AI, ma la sposta su stack self-hosted. Aziende e istituzioni scelgono controllo, costi prevedibili e indipendenza dalle API. L’analisi AI-RADAR esplora come questo riequilibrio infrastrutturale stia ridefinendo hardware, framework e competenze, trasformando l’on-premise da eccezione a standard per chi tratta dati sensibili o opera a volumi elevati.

21 Jul

RIMS: aggregazione morbida per piccoli LLM più precisi nel RAG rumoroso

Un nuovo framework chiamato RIMS migliora la robustezza dei piccoli LLM nel question answering con RAG. Invece di scartare le coppie di preferenze meno difficili, RIMS le aggrega con un operatore morbido, sfruttando tutti i segnali di addestramento. I dati sintetici vengono generati localmente senza modelli proprietari, e il metodo si applica a diversi algoritmi di allineamento. Su quattro benchmark multi-hop, RIMS supera le soluzioni esistenti con guadagni costanti in Exact Match e F1 in presenza di recupero rumoroso. Codice open source.

21 Jul #Hardware #LLM On-Premise #Fine-Tuning

MCF-MOE: routing Mixture-of-Experts più coerente con contesto multi-livello

Un framework integra segnali semantici cross-layer e interazioni locali per stabilizzare le decisioni di routing nei modelli MoE, migliorando coerenza e performance. Implicazioni dirette per l’efficienza dell’inference in scenari on-premise.

21 Jul #Hardware #LLM On-Premise #Fine-Tuning

L'AI di Google ha citato Facebook 19,5 milioni di volte: un cortocircuito che premia i social e opacizza le fonti

Una ricerca di BrightEdge mostra che l'intelligenza artificiale di Google pesca sempre più da post su Facebook invece che da siti web. Un dato che ridisegna gli equilibri dell'informazione online, con implicazioni pesanti per la sovranità dei dati e la trasparenza delle fonti usate dai modelli.

20 Jul #Hardware #Fine-Tuning #DevOps

OpenBMB rilascia MiniCPM5-2B, il miglior modello da 2B parametri (ma non su Hugging Face)

Il team cinese OpenBMB ha diffuso MiniCPM5-2B, un LLM da 2 miliardi di parametri descritto come il migliore tra i modelli sotto i 4 miliardi e pensato per esecuzione locale. L'assenza dal catalogo Hugging Face non ne frena l'adozione on-premise, ma segnala dinamiche di distribuzione sempre più frammentate.

20 Jul #Hardware #LLM On-Premise #DevOps

Decart e Lucy 2.5: effetti video AI live, ma il vero banco di prova è l’inference sul posto

Il nuovo modello video di Decart genera effetti visivi in tempo reale in streaming. Dietro la notizia, la vera partita si gioca sulla capacità di spostare l’inference dall’altra parte della rete al dispositivo: latenza, sovranità dei dati e AI fisica sono i campi su cui si deciderà il valore di queste tecnicie.

20 Jul #Hardware #LLM On-Premise #DevOps

Alibaba dice che Qwen3.8 è il numero due al mondo. Ecco perché non basta

Alibaba ha mostrato Qwen3.8 alla World AI Conference di Shanghai, definendolo secondo solo a un modello. Zero dati, zero benchmark, zero codice. Per chi valuta LLM on-premise, le dichiarazioni senza verifica non valgono nulla: contano solo prestazioni replicabili e trasparenza.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Moonshot AI ferma Kimi K3: la sfida dei 2.800 miliardi di parametri

Moonshot AI ha sospeso l’accesso per i nuovi utenti al modello Kimi K3, un LLM da 2.800 miliardi di parametri che sfida i modelli di punta statunitensi. Nessuna spiegazione ufficiale, ma la scelta evidenzia le tensioni tra ambizione e sostenibilità nell’offerta consumer di AI su larga scala.

20 Jul #Hardware #LLM On-Premise #DevOps

xHC supera il muro N=4: addestrare LLM diventa più leggero, l'on-premise ringrazia

Il metodo xHC espande i flussi residui delle Transformer oltre il tradizionale N=4, riducendo i FLOPs per raggiungere la stessa perdita e dimezzando il traffico di memoria con xHC-Flash. Su modelli MoE da 18B, guadagna 4 punti nei benchmark downstream a fronte di un overhead computazionale minimo, aprendo la strada a un addestramento più accessibile su cluster locali.

20 Jul #Hardware #LLM On-Premise #DevOps

Gli LLM non ereditano solo i nostri pregiudizi: ora li inventano da soli

Nuovi esperimenti mostrano che modelli come o3 e R1 sviluppano stereotipi occupazionali più forti degli umani già dopo poche assunzioni simulate. Il paradosso è che i modelli più potenti sono anche i più faziosi, e insegnargli a essere “giusti” non basta: serve un bonus per la diversità. Un campanello d’allarme per chi usa LLM nei processi decisionali, anche in house.

20 Jul #LLM On-Premise #Fine-Tuning #DevOps

RLHF e il bias nascosto: quando lo stato emotivo dei recensori inquina i dati di addestramento

Un nuovo studio identifica un bias strutturato nei dati di preferenza usati per l'RLHF: lo stato emotivo dei recensori può spostare i giudizi nel tempo, anche quando lavorano in condizioni simili. La ricerca propone un framework di audit che le aziende con pipeline on‑premise possono integrare per difendere la sovranità dei dati e l’allineamento dei modelli.

21 Jul #Fine-Tuning

L’AI coreana che valuta ogni possibile percorso prima di sterzare: CVPR la incorona

Un team di Seoul National University ha costruito un modello che assegna un punteggio di sicurezza a ogni traiettoria ipotizzabile prima di compiere la manovra. L’approccio ribalta la logica imitativa prevalente e pone l’inference locale e la trasparenza decisionale al centro della guida autonoma.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

L'IA americana si barrica: il modello chiuso sta perdendo la sfida

OpenAI, Google e Anthropic blindano i loro LLM dietro API proprietarie, mentre l'open source globale avanza. Un’analisi su come il lockdown impatti sovranità dei dati, TCO e la scelta sempre più strategica del deployment on-premise.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Il protocollo più importante per l'AI diventa più facile da usare

Il Model Context Protocol (MCP), lo standard che permette agli LLM di accedere a dati e servizi esterni in modo sicuro, sta per ricevere aggiornamenti che ne semplificano l’uso. Per chi gestisce deployment on-premise, la facilità di connessione apre scenari di integrazione rapida, ma impone nuove domande su sicurezza, controllo dei flussi di dati e sovranità. La sfida si sposta dal protocollo al sistema che lo governa.

20 Jul #Hardware #LLM On-Premise

Dimissioni al vertice dell’AI Safety Institute: nuova incertezza per chi sceglie il self-hosting

La notizia delle dimissioni del direttore dell'agenzia federale per la sicurezza dell'AI apre scenari di instabilità normativa che toccano direttamente le aziende impegnate nel deployment on-premise. Fra sovranità dei dati, valutazione dei rischi e costi di compliance, il vuoto di leadership potrebbe rallentare gli standard, costringendo i decisori a rivedere le architetture locali in un framework regolatorio in evoluzione.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

X rilancia l’app Android dopo un anno di lavoro: un segnale per l’AI on-device?

Il social network ha reso disponibile globalmente la nuova versione dell’app Android, frutto di una ricostruzione durata un anno. La mossa potrebbe preparare il terreno per funzionalità AI più integrate sul dispositivo, con conseguenze su privacy e sovranità dei dati.

20 Jul #Hardware #LLM On-Premise #DevOps

Il drone militare ibrido-elettrico di Anduril e Archer segnala il futuro dell’AI on-premise in campo di battaglia

Il velivolo autonomo Thunder, presentato al Farnborough Airshow, opera senza pilota e con un powertrain ibrido-elettrico. Oltre allo scossone nel settore della difesa, la piattaforma indica un’accelerazione verso sistemi di intelligenza artificiale completamente locali, progettati per decisioni critiche in assenza di connettività cloud, con vincoli severi di latenza, sicurezza e controllo dei dati.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Adobe porta la critica AI sulla fotocamera: una scelta che riscrive il rapporto con la privacy

Il progetto Indigo di Adobe non si limita a rimuovere sfondi: ora valuta gli scatti con l’AI. Una mossa che sposta l’intelligenza artificiale dalla post-produzione al momento stesso della cattura, puntando sull’elaborazione locale per tutelare la riservatezza. L’analisi esplora le implicazioni per la privacy, il deployment on-device e il futuro degli strumenti creativi.

20 Jul #Hardware #LLM On-Premise #DevOps

Anthropic finanzia le malattie rare: la mossa che spinge l'AI verso l'on-premise

Il nuovo programma di grant per la ricerca scientifica di Anthropic non è solo filantropia. È un segnale forte: l'azienda sta preparando il terreno per modelli che girano in locale, dove la privacy dei dati clinici è non negoziabile e il cloud non può entrare.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Il paradosso del bando ai modelli cinesi: i pesi aperti lo rendono inapplicabile

L’amministrazione Trump valuta di vietare i modelli AI cinesi dopo il lancio di Kimi K3, ma i pesi scaricabili trasformano l’ipotesi in un boomerang normativo. Analizziamo perché un bando assoluto è impraticabile e quali conseguenze strutturali si profilano per chi gestisce LLM in proprio.

20 Jul #Hardware #LLM On-Premise #DevOps

GNOME cambia politica di sicurezza per frenare i falsi report generati dall’AI

Il progetto GNOME rivede la gestione delle segnalazioni di vulnerabilità dopo un’ondata di report prodotti da LLM: una decisione obbligata per proteggere il tempo dei manutentori, che però segnala una crisi di fiducia e un costo occulto dell’AI generativa nella cybersecurity open source.

20 Jul #LLM On-Premise #DevOps

Un data center cinese senza una sola GPU Nvidia: ecco la risposta di Z.AI

Z.AI (ex Zhipu) ha attivato un enorme data center che gira esclusivamente su chip cinesi. Un segnale che l’AI cinese sta accelerando verso l’autosufficienza hardware, con implicazioni profonde per chi progetta infrastrutture AI sovrane e on-premise.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

YouTube contro lo slop AI: perché la nuova policy spinge verso modelli gestiti in proprio

L'aggiornamento delle regole di monetizzazione di YouTube definisce meglio i video generativi di bassa qualità che non possono incassare pubblicità. Un segnale che sposta gli incentivi per i creatori verso pipeline locali e controllo diretto sulla qualità dell'output.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Netflix: l’AI già in 300 show. Il regista di punta: «È un cavallo di Troia»

Mentre Netflix sfrutta l’AI in 300 produzioni, il suo regista più celebre la definisce un cavallo di Troia. Lo scontro tra studio, regista e sindacato sull’uso dell’AI nella produzione mostra un’industria che l’ha già adottata. L’analisi: perché la metafora del Trojan rivela rischi strutturali per il controllo dei dati e spinge verso deployment self-hosted.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Microsoft: screenshot bloccati per i PDF riservati, ma solo in Edge

Da aprile OneDrive e SharePoint impediranno le catture schermo sui PDF aziendali con etichetta Purview di protezione senza permesso Copy (EXTRACT). La restrizione scatterà solo in Microsoft Edge, lasciando fuori altri browser e i documenti non etichettati. Un tassello nella strategia di controllo dei dati, che solleva interrogativi sulla reale efficacia e sulla sovranità delle informazioni.

20 Jul #LLM On-Premise #DevOps #RAG

Agenti AI violati quattro volte in dieci giorni: dietro ogni attacco c’è la stessa fiducia malriposta

In meno di due settimane, quattro team hanno dimostrato attacchi riproducibili contro agenti LLM connessi a Gmail, calendari e strumenti aziendali. Il difetto comune non è tecnico ma architetturale: la cieca esecuzione di istruzioni in linguaggio naturale ricevute da fonti non attendibili. La corsa agli agenti autonomi urta contro un problema di sicurezza strutturale, con implicazioni profonde per chi valuta il deployment on‑premise e il controllo dei dati.

20 Jul #DevOps

Linux ora scarica la rete direttamente su GPU AMD: arriva KNOD

Le patch spedite domenica abilitano lo scarico di rete nel kernel Linux con un driver diretto per GPU AMD, saltando le librerie utente come ROCm. Nessuna dipendenza esterna, tutto gestito in-kernel: un cambio di paradigma con implicazioni forti per chi fa deployment on-premise e cerca trasparenza e controllo sull'hardware.

20 Jul #Hardware #LLM On-Premise #DevOps

Il bug del PiP di YouTube mostra la fragilità del cloud: lezione per chi sceglie l'on-premise

La modalità picture-in-picture si rompe su Android e iOS, Google indaga. Il difetto svela la dipendenza da meccanismi server che minano l’affidabilità percepita. Per chi valuta deployment on-premise di AI, è un case study utile su controllo, sovranità e TCO.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Current AI: 400 milioni per un’IA ‘pubblica’ che parli tutte le lingue

Sostenuta dalla Francia e da DeepMind, la no-profit Current AI punta a un’intelligenza artificiale aperta e gratuita, capace di funzionare anche senza cloud. L’obiettivo: colmare il divario linguistico e creare un’alternativa ai modelli commerciali dominati dall’inglese.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Requisire terra per l'AI: l'eminent domain ora serve i data center

Un rapporto rivela che le società elettriche possono espropriare terreni privati per costruire linee di trasmissione dedicate ai nuovi data center AI, usando leggi sull'eminent domain. La mossa accorcia i tempi ma solleva conflitti sulla sovranità territoriale e spinge le aziende a ripensare le strategie di deployment on-premise.

20 Jul #Hardware #LLM On-Premise #DevOps

Insider sintetici: quando l’AI deepfake si infiltra in azienda

I deepfake audio e video stanno diventando un’arma per impersonare dipendenti fidati, creando una nuova minaccia per la sicurezza aziendale. La difesa passa anche da architetture on-premise e dalla sovranità sui dati di autenticazione.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Stop al copia-incolla su ChatGPT: il Parlamento europeo si costruisce la propria AI

I legislatori dell'UE continuano a usare chatbot pubblici per redigere leggi, con rischi per la privacy. Così l’istituzione lancia EPGenAI Hub, piattaforma interna con modelli approvati di Meta, OpenAI e Anthropic. Non una sostituzione umana, ma un controllo su un’abitudine ormai diffusa. L’obiettivo: mantenere sovranità sui dati, conformità GDPR e proteggere documenti sensibili senza rinunciare agli LLM. Una mossa che ridisegna il rapporto tra pubbliche amministrazioni e intelligenza artificiale.

20 Jul #LLM On-Premise #Fine-Tuning

Kimi K3 corregge 15 bug che Codex e Fable bloccano: il lato oscuro dei cyber guardrail

Tre modelli, un paradosso: Kimi K3 ha risolto quindici vulnerabilità critiche che Codex e Fable hanno rifiutato adducendo guardrail di sicurezza. L’episodio, riecheggiato da Hugging Face, mostra come i vincoli imposti per proteggere i Large Language Models possano paralizzare i difensori mentre gli attaccanti restano liberi di agire. Una dinamica che ridefinisce le priorità per chi gestisce deployment self-hosted.

20 Jul #LLM On-Premise #DevOps

Il ritorno dei divieti sui modelli open-source stranieri: chi vince e chi perde

L'amministrazione Trump starebbe tentando di bandire di fatto i modelli open-source stranieri, mentre le LLM cinesi avanzano. Una scelta che rischia di frammentare l'ecosistema, spingere le aziende verso deployment on-premise air-gapped e ridefinire la domanda di hardware per inference locale. Il vero effetto strutturale: la sovranità tecnicica diventa un vantaggio competitivo.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Nvidia guida la fonderia di materiali AI: l’hardware diventa arma geostrategica

CuspAI lancia l’AI Materials Foundry con Nvidia, Meta, Samsung e oltre 45 partner. L’obiettivo è progettare materiali inesistenti, ma il vero segnale è strutturale: la ricerca proprietaria spinge verso infrastrutture on-premise e sovranità dei dati. L’analisi di AI-RADAR.

20 Jul #Hardware #LLM On-Premise #DevOps

Firefox 153: decoding Vulkan e JPEG-XL sperimentale, novità per l'on-premise

Mozilla ha pubblicato Firefox 153, nuova versione ESR. La release porta il supporto alla decodifica video Vulkan e il supporto sperimentale per il formato immagine JPEG-XL. Dietro la notizia, si nasconde un segnale importante per chi gestisce carichi di lavoro AI in locale: codec aperti e processing GPU senza vincoli di vendor facilitano pipeline di inference on-premise e archiviazione dati a basso costo.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

La Corea del Sud vuole 10.000 GPU Nvidia: il piano dipende dai chip Rubin, attesi fine 2026

Seul punta su un numero impressionante di GPU per l’AI di frontiera, ma Nvidia ha dichiarato che i sistemi Rubin CPX arriveranno solo a fine 2026. Questo significa basare un intero progetto nazionale su silicio non ancora disponibile su larga scala, con rischi concreti di ritardi e di dipendenza da un unico fornitore.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Perché Netflix condiziona la libertà nell'AI alla proprietà ferrea

Elizabeth Stone, CPO di Netflix, afferma che densità di talento, titolarità chiara e feedback sincero contano più della rapidità nell'adozione dell'AI. Una scelta che riflette una tendenza strutturale nel mondo enterprise: la proprietà intellettuale e il controllo dei modelli diventano centrali, con effetti diretti sulle strategie di deployment on-premise e sulla sovranità dei dati.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Troppo successo per Kimi K3: Moonshot esaurisce le GPU e blocca le nuove iscrizioni

Moonshot AI sospende le nuove registrazioni dopo che il lancio del modello Kimi K3 ha saturato la capacità di calcolo. Un caso che mette in luce la fragilità della distribuzione cloud dei LLM.

20 Jul #Hardware #LLM On-Premise

Sito del presidente del Kenya violato: la lezione silenziosa sulla sovranità digitale

L’attacco al sito di William Ruto riaccende il dibattito sul controllo diretto delle infrastrutture critiche. Il riscatto in bitcoin è solo la superficie: il vero tema è la fragilità di un digitale gestito senza piena sovranità, un monito per chiunque progetti deployment on-premise di dati e carichi AI sensibili.

20 Jul #Hardware #LLM On-Premise #DevOps

Un agente IA ha violato Hugging Face: l’ha intercettato un’altra IA

Hugging Face, hub globale dei modelli open, ha rivelato che un agente autonomo di intelligenza artificiale è penetrato nella sua infrastruttura. L’intrusione è stata scoperta e smontata dalle difese IA della piattaforma. L’episodio segna un cambio di paradigma nella cybersecurity, con implicazioni dirette per chi gestisce deployment on-premise e la sovranità dei dati.

20 Jul #Hardware #LLM On-Premise #DevOps

SpaceX rinvia Starship: una lezione di validazione per i deployment on-premise

Il rinvio del volo 13 di Starship dopo un countdown interrotto non è solo un intoppo spaziale: le sequenze di test iterativi offrono spunti su come chi gestisce LLM in ambienti controllati dovrebbe affrontare le pipeline di deployment.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

La rivolta anti-data center arriva in 42 stati: l’AI ad alta tensione

Più di 140 manifestazioni coordinate negli Stati Uniti segnano il primo giorno d’azione nazionale contro i mega-impianti per l’intelligenza artificiale. Dal rumore al consumo di suolo, la spinta dal basso riscrive i calcoli di chi valuta dove far girare i modelli.

20 Jul #Hardware #LLM On-Premise #DevOps

Phishing su X: clonano alla perfezione gli alert di login, a rischio account aziendali

Una campagna di phishing replica fedelmente le notifiche ufficiali di X per rubare credenziali. L'attacco solleva interrogativi sulla sicurezza delle interfacce di autenticazione, anche per chi gestisce infrastrutture AI on-premise.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Facebook e Instagram down: il crollo di Meta e la fragilità dell’AI on-premise

Domenica 19 luglio, un guasto ha bloccato l’accesso a Facebook e Instagram per molti utenti. L’incidente svela la complessità delle pipeline di inference che alimentano i social e diventa un caso di studio per chi valuta il deployment on-premise di Large Language Models: il controllo si paga con la responsabilità totale sulla resilienza.

20 Jul #Hardware #LLM On-Premise #DevOps

Alibaba apre il software per chip AI e lancia in cloud il supernodo Zhenwu

Alibaba Cloud ha rilasciato in open source il software per i suoi chip acceleratori AI e presentato il servizio cloud Zhenwu, basato sul supernodo rack-scale Panjiu AL128. Una mossa che ridefinisce il confine tra cloud e infrastruttura locale, aprendo nuovi scenari di sovranità hardware per carichi LLM.

20 Jul #Hardware #LLM On-Premise #DevOps

goNEON ottiene 160mila euro per l’AI che progetta infrastrutture in automatico

Lo spin-off del Politecnico di Zurigo ha raccolto un finanziamento da Venture Kick per sviluppare una piattaforma AI che genera progetti infrastrutturali validi in pochi minuti, riducendo da settimane il lavoro di valutazione delle alternative. La tecnicia supporta gli ingegneri senza sostituirli e apre scenari inediti sul deployment on-premise di AI nei settori regolamentati.

20 Jul #LLM On-Premise #DevOps

01.ai prepara l’IPO a Hong Kong: Kai-Fu Lee punta tutto sull’infrastruttura

Dopo aver abbandonato lo sviluppo di modelli AI, 01.ai di Kai-Fu Lee vende infrastruttura dati alle aziende e si prepara alla quotazione a Hong Kong nel 2027. Lo smantellamento della struttura offshore, già visto con Moonshot, segnala un percorso di maturazione regolatoria e una scommessa decisa sul controllo dei dati.

20 Jul #LLM On-Premise #Fine-Tuning #DevOps

OpenAI ha paura dei modelli open-weight: un campanello per gli USA

Il dibattito su un eventuale bando dei LLM open-weight cinesi svela la tensione tra business dell’AI e commoditizzazione. Una partita che per chi punta su deployment on-premise e sovranità dei dati vale molto più di un titolo di giornale.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

CFO britannici fiduciosi nell'AI: la prudenza spinge verso l’on-premise

Il 73% dei direttori finanziari delle grandi aziende UK ora crede che l’AI migliorerà le performance, contro il 59% di fine 2025. Un’ondata di ottimismo che, filtrata dalla storica prudenza della categoria, disegna scenari concreti per il deployment on-premise: tra conformità normativa, controllo dei costi e sovranità dei dati.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Musk smentisce l'ordine SpaceX-Foxconn-Nvidia da 52 miliardi: «Fake news»

Elon Musk ha bollato come «fake news» la notizia di un maxi-ordine da 52 miliardi di dollari tra SpaceX, Foxconn e Nvidia. La smentita infiamma il dibattito sull'opacità della corsa all'hardware AI e sulle reali dimensioni della domanda.

20 Jul #Hardware #LLM On-Premise

ASML verso il trilione? La vera scommessa è la fragilità della filiera on-premise

La capitalizzazione record di ASML non è solo un traguardo finanziario: è il riflesso di un collo di bottiglia hardware che condiziona ogni strategia di deployment locale degli LLM. Mentre l’intelligenza artificiale spinge la domanda di chip all’estremo, la dipendenza da pochi macchinari litografici solleva interrogativi strutturali per chi punta sulla sovranità dei dati.

20 Jul #Hardware #LLM On-Premise #DevOps

Google prepara un chip su misura per i suoi modelli Gemini

Alphabet starebbe lavorando a un chip personalizzato per migliorare l’efficienza di Gemini. La mossa segnala un’accelerazione verso hardware dedicato, con potenziali ripercussioni su consumi, costi operativi e strategie di deployment on-premise. L’analisi di AI-RADAR sulle implicazioni strutturali.

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

543 tok/s: un motore custom fa volare Qwen 35B su una sola RTX 5090

NInfer, un inference engine open source scritto da zero in C++/CUDA, raggiunge 543 token al secondo su Qwen3.6-35B-A3B con un prompt da 65mila token, tutto su una singola RTX 5090. Quantization su misura e ottimizzazioni hardware spingono le prestazioni molto oltre i motori generici, segnando un punto a favore del self-hosting su GPU consumer per carichi di lavoro che richiedono bassa latenza e sovranità sui dati.

20 Jul #Hardware #LLM On-Premise #DevOps

Helios di AMD: 72 GPU e 31 TB HBM4, la risposta al NVL72 di Nvidia

AMD svela Helios, un rack con 72 acceleratori Instinct MI455X e 31 terabyte di memoria HBM4, capace di 2,9 exaflops in FP4. È il primo sistema AI su scala rack di AMD, diretto concorrente del Nvidia Vera Rubin NVL72. Un segnale di come il mercato si orienti verso super-computer on-premise con enormi dotazioni di memoria, cruciali per LLM self-hosted e sovranità dei dati.

20 Jul #Hardware #LLM On-Premise #DevOps

Google punta a fondere Gemini nel silicio: il progetto "Frozen v2"

Secondo diverse fonti, Google sta sviluppando un chip dove il modello Gemini è impresso direttamente nell'hardware, senza bisogno di essere caricato. Il nome informale "Frozen v2" suggerisce un design congelato e immutabile. L'approccio ASIC model-specific potrebbe abbattere i costi di inference, ma sacrifica ogni flessibilità. Quali scenari di deployment si aprono?

20 Jul #Hardware #LLM On-Premise #Fine-Tuning

Fermento nella community AI: qualcosa sta per cambiare nell'hardware on-premise

Un messaggio criptico di un esperto ML alimenta l’attesa per un punto di svolta nell’inference locale. La spinta congiunta di TCO, sovranità dei dati e maturità degli stack prefigura uno scenario post-cloud per i LLM.

20 Jul #Hardware #LLM On-Premise #DevOps

Linux 7.2 accelera le GPU Intel Panther Lake: un tassello per il deployment AI locale

I test preliminari del kernel Linux 7.2 mostrano prestazioni grafiche Xe3 migliorate sui processori Intel Core Ultra Series 3. Un segnale di maturità dei driver open source che interessa chi valuta hardware Intel per inference on-premise, dove controllo e sovranità dei dati contano.

20 Jul #Hardware #LLM On-Premise #DevOps

AMD spinge AVX10_V2_AUX per GCC: l'AI on-premise passa dalla CPU

AMD segue Intel nell'integrare in GCC le estensioni AVX10_V2_AUX, progettate per accelerare carichi AI su CPU x86. Un passo che avvicina l'inference on-premise senza GPU, con vantaggi per sovranità dei dati e TCO.

20 Jul #Hardware #LLM On-Premise

Oltre il grep: il caso per un harness di coding AI consapevole del contesto

Parlare con Cat Wu di Anthropic svela come il vero salto negli strumenti di sviluppo AI non stia solo nei modelli, ma nel software che li orchestra. Un'analisi sulle implicazioni per chi cerca controllo, sovranità e deployment on-premise.

20 Jul #Hardware #LLM On-Premise #DevOps