Crescente spostamento verso il deployment locale dei modelli di AI per motivi di costi, controllo dei dati e affidabilità. Aziende dalla sanità all'aerospazio portano i carichi di lavoro on-premise per evitare il lock-in dei fornitori cloud e garantire conformità.
Limiti all’export sui modelli open weight potrebbero minare la sovranità dei dati, spingendo le aziende che hanno investito in stack on-premise verso le API cloud centralizzate. La segmentazione dell’ecosistema minaccia l’innovazione aperta e avvanta...
Il framework open source leader per l'inference LLM su CPU e GPU consumer ora riconosce le schede Laguna XS.2 e M.1, acceleratori pensati per carichi AI on-premise. L'integrazione diretta nel commit b10087 segnala una maturazione dell'ecosistema hard...
Upstage rilascia Solar-Open2-250B, un modello open-weight pensato per flussi agentivi con architettura MoE ibrida: 250 miliardi di parametri totali, ma solo 15 miliardi attivi per token. Attenzione lineare e rimozione del positional encoding permetto...
La quantization di Laguna S 2.1 a opera di Unsloth abbassa la barriera hardware per l’inference locale, rendendo un modello potente eseguibile su GPU consumer. Questo passo rafforza l’AI on-premise, riduce la dipendenza dal cloud, protegge i dati e a...
Il team Unsloth annuncia su Reddit la disponibilità di varie quantization per Laguna S 2.1. Il processo di compressione riduce il fabbisogno di VRAM e facilita l’esecuzione in locale, accelerando l’adozione di LLM self-hosted per esigenze di sovranit...
Poolside rilascia Laguna-S-2.1, un LLM da 120 miliardi di parametri, accompagnato da file GGUF e da un fork personalizzato di llama.cpp. Scelta inedita che accelera il deployment on-premise e abbassa la barriera per l’esecuzione locale di modelli di ...
Phoronix ha messo a confronto KDE Plasma 6.7, GNOME Shell 50.3 e Xfce 4.20 su CachyOS con GPU NVIDIA RTX 50. Per chi esegue LLM in locale, la scelta del desktop e del server grafico può pesare sulla memoria video e sulla stabilità dei carichi di calc...
Le spedizioni di server Grace standalone segnano un cambio di rotta: la CPU diventa il fulcro nei data center agentici. L'analisi di AI-RADAR su cosa significa per la sovranità dei dati e il deployment on-premise.
Per contrastare un cyberattacco completamente autonomo, Hugging Face ha dovuto usare un modello open source cinese perché i guardrail dei modelli statunitensi bloccavano le azioni difensive. Il CEO avverte: vietare l'AI open source danneggia i difens...
Un modder monta un dissipatore in alluminio da 2,5 kg su una RTX 4060 e la raffredda per convezione naturale. Il test dimostra che carichi moderati, come l'inference LLM on-premise, potrebbero fare a meno delle ventole, con implicazioni per silenzios...
La chiusura dei modelli di frontiera americani non frena l’adozione dell’AI, ma la sposta su stack self-hosted. Aziende e istituzioni scelgono controllo, costi prevedibili e indipendenza dalle API. L’analisi AI-RADAR esplora come questo riequilibrio ...
NInfer, un inference engine open source scritto da zero in C++/CUDA, raggiunge 543 token al secondo su Qwen3.6-35B-A3B con un prompt da 65mila token, tutto su una singola RTX 5090. Quantization su misura e ottimizzazioni hardware spingono le prestazi...
Le patch spedite domenica abilitano lo scarico di rete nel kernel Linux con un driver diretto per GPU AMD, saltando le librerie utente come ROCm. Nessuna dipendenza esterna, tutto gestito in-kernel: un cambio di paradigma con implicazioni forti per c...
I legislatori dell'UE continuano a usare chatbot pubblici per redigere leggi, con rischi per la privacy. Così l’istituzione lancia EPGenAI Hub, piattaforma interna con modelli approvati di Meta, OpenAI e Anthropic. Non una sostituzione umana, ma un c...
Il nuovo modello video di Decart genera effetti visivi in tempo reale in streaming. Dietro la notizia, la vera partita si gioca sulla capacità di spostare l’inference dall’altra parte della rete al dispositivo: latenza, sovranità dei dati e AI fisica...
Mozilla ha pubblicato Firefox 153, nuova versione ESR. La release porta il supporto alla decodifica video Vulkan e il supporto sperimentale per il formato immagine JPEG-XL. Dietro la notizia, si nasconde un segnale importante per chi gestisce carichi...
Elizabeth Stone, CPO di Netflix, afferma che densità di talento, titolarità chiara e feedback sincero contano più della rapidità nell'adozione dell'AI. Una scelta che riflette una tendenza strutturale nel mondo enterprise: la proprietà intellettuale ...
AMD segue Intel nell'integrare in GCC le estensioni AVX10_V2_AUX, progettate per accelerare carichi AI su CPU x86. Un passo che avvicina l'inference on-premise senza GPU, con vantaggi per sovranità dei dati e TCO.
Il 73% dei direttori finanziari delle grandi aziende UK ora crede che l’AI migliorerà le performance, contro il 59% di fine 2025. Un’ondata di ottimismo che, filtrata dalla storica prudenza della categoria, disegna scenari concreti per il deployment ...
La fonderia giapponese accelera lo sviluppo dei semiconduttori con strumenti AI. Una scelta che porta in primo piano l’infrastruttura on-premise, unica via per proteggere l’IP e gestire carichi computazionali estremi senza cedere sovranità sui dati.
Una causa legale tra Apple e OpenAI riaccende lo scontro tra cloud e on-device. Mentre Cupertino rivendica la sovranità sul dato, l’ombra di un possibile ritorno di Trump impone alle aziende di ripensare i confini dell’inference. Per chi gestisce LLM...
La resilienza della domanda di apparati di rete si scontra con un collo di bottiglia nelle forniture: switch, transceiver e NIC ad alta velocità sono sempre più difficili da reperire, allungando i tempi di consegna. Per chi costruisce cluster AI on-p...
Un utente decide di scaricare tutti i migliori LLM attuali dopo le polemiche sul modello Kimi. Una reazione istintiva? No, la spia di un cambiamento strutturale verso la sovranità digitale e l’infrastruttura on-premise.
La cinese Moonshot AI blocca nuovi abbonamenti e cancella l’accesso gratuito per saturazione di GPU. Un caso che mostra i limiti dell’on-demand e riaccende il dibattito su infrastrutture dedicate, vincoli geopolitici e strategie di deployment.
Un post su Reddit chiede al team Qwen di rilasciare un modello Mixture of Experts da 100 miliardi di parametri eseguibile su “Spark”. Dietro la richiesta c’è la spinta verso LLM sempre più capaci su hardware consumer, un trend che rimodella l’equilib...
Un post su Reddit chiede al team Qwen nuove versioni del modello 35B-A3B. Dietro l'appello c'è una fame di architetture MoE con pochi parametri attivi, ideali per l'inference on-premise. Il caso segnala uno spostamento strutturale verso modelli capac...
L’adozione massiccia di strumenti AI autonomi non ha scosso le pipeline di vendita B2B, rimaste piatte. Il paradosso segnala che il solo accesso ad agenti cloud non basta: per attivare il potenziale commerciale servono controllo sui dati, fine-tuning...
Il capo dei futuri strategici di OpenAI ha paragonato la diffusione dei modelli open-weight al comunismo, accendendo il dibattito su sovranità digitale, costi e controllo nell’ecosistema LLM.
La disponibilità di Qwen 3.8 Max sull'app chat.qwen.ai non è solo un aggiornamento di prodotto. È un campanello d'allarme per le aziende che pianificano strategie LLM on-premise: i modelli di frontiera costringono a fare i conti con hardware sempre p...
Le patch per il kernel Linux destinate al Lenovo Legion Y700 Gen4, tablet Android con Snapdragon 8 Elite, puntano a un supporto mainline. Per chi opera con LLM in locale, l’apertura a Linux su un dispositivo compatto e potente segna un passo verso in...
L'annuncio del nuovo modello Qwen3.8, ancora senza dettagli ufficiali, mette in guardia gli appassionati di LLM on-premise: la richiesta di memoria video potrebbe essere significativa. La scelta di Alibaba di spingere su una taglia intermedia riapre ...
Alibaba Qwen torna a far parlare di sé con un nuovo teaser. Il timing non è casuale: la sequenza di rilasci open-weight del team cinese sta ridisegnando gli equilibri dell'inference self-hosted, aprendo spazi per chi cerca sovranità dei dati al di fu...
Il confronto tra Qwen e Gemma svela che la resilienza alla quantization conta più dei benchmark grezzi. Per chi fa inference locale, il quantization-aware training ridisegna hardware, TCO e sovranità dei dati: un'analisi delle implicazioni struttural...
Un confronto diretto su hardware locale mostra che Gemma 4, pur con punteggi benchmark inferiori, batte Qwen in coerenza e aderenza alle richieste. Dietro c’è il QAT, che cambia le regole per chi punta su LLM on-premise: non conta solo la taglia del ...
Una domanda su Reddit rivela un fenomeno sommerso: professionisti e aziende accumulano copie locali dei migliori LLM aperti su capienti HDD. Non è nostalgia del vintage, ma un calcolo di sovranità digitale e resilienza operativa, di fronte all'incert...
Il team specializzato in inference per LLM si unisce ad AMD, puntando a ridurre il divario con NVIDIA negli scenari on-premise. La mossa ha implicazioni dirette per chi valuta hardware alternativo per deployment locale di modelli linguistici.
Un nuovo metodo consente di memorizzare knowledge verificata come stato KV e ripristinarla byte-identica alla computazione originale. Su Gemma 4 12B, il sistema di routing testato su AIME 2025 passa dal 76,7% al 90,0%. Il lavoro sarà presentato all'A...
Un modello a mistura di esperti da 92 miliardi di parametri con finestra contestuale di 512.000 token diventa eseguibile su CPU grazie all'integrazione nel runtime ik_llama.cpp. Una combinazione di tecniche come MLA-latent cache e attivazione seletti...
Il driver open-source NVK Vulkan per GPU NVIDIA continua a migliorare con Mesa 26.2, segnale di un ecosistema libero sempre più competitivo. Analizziamo cosa significa per chi sceglie stack on-premise e sovranità tecnicica.
La startup franco-siliconvalleyana Raidium ha portato la sua piattaforma di imaging AI-native al Moffitt Cancer Center, sostituendo le applicazioni radiomiche legacy. Un segnale forte sul futuro del deployment dell'AI in ambito clinico.
Una build custom di llama.cpp con kernel ROCmFPX porta il modello Qwen3.5 da 122 miliardi di parametri su GPU AMD a 28.50 token al secondo, riducendo l’occupazione di memoria del 18% e accelerando l’inference del 37%. Un banco di prova per la fattibi...
Un nuovo plugin per Obsidian consente di interrogare il proprio vault tramite chat basata su IA locale, senza inviare alcun dato al cloud. Rilasciato con licenza MIT, sfrutta l’SDK QVAC per eseguire il modello direttamente sul Mac. Offre citazioni cl...
Alex Karp stima che l’IA lo renderà 20 volte più ricco, mentre i salari medi potrebbero solo raddoppiare. Dietro la provocazione si nasconde una verità strutturale: chi controlla l’infrastruttura di calcolo cattura il valore. Per le imprese, il deplo...
AMD rafforza la strategia open-source per l’AI locale, portando nel team gli sviluppatori di FastFlowLM, framework per inference di LLM su NPU. La mossa arriva con il rilascio di ROCm 7.14 e del server AI locale Lemonade 11.0, segnando un punto a fav...
PrismML ha quantizzato il modello Qwen3.6-27B fino a 1 bit, portandolo da 54 GB a 3,9 GB. Bonsai 27B gira su un iPhone 15 Pro Max con 8 GB di RAM, mantenendo il ~90% delle prestazioni benchmark. La matematica regge, ma conoscenza e ragionamento calan...
La startup healthcare Bunkerhill Health chiude un Series B guidato da Khosla Ventures. Con il sistema Carebricks, le strutture sanitarie costruiscono agenti AI proprietari, inaugurando un passaggio strategico: dal supporto documentale alla gestione o...
Da semplice finestra sul web a strumento che anticipa le nostre intenzioni: i browser integrano funzionalità AI, ma questo solleva domande su sovranità dei dati e architettura di calcolo. Un’analisi per chi osserva il fenomeno con occhi tecnici.
Spunta nei forum un nuovo modello linguistico europeo e open source: Soofi S 30B-A3B. Con 3 miliardi di parametri attivi su un totale di 30, promette esecuzione locale a basso consumo di VRAM, affiancato da anteprime con capacità di ragionamento. Il ...
Un leak anticipa la strategia Intel per Nova Lake: Core Ultra Series 400 e un chip desktop da 52 core solo nel tardo 2027. Per chi punta sull’inference locale, l’aumento dei core sfida il monopolio GPU e rilancia il calcolo CPU per LLM, con vantaggi ...
La startup francese Syntetica ha chiuso un round da 30 milioni di dollari per riciclare il nylon ad alte prestazioni, separando due gradi considerati inseparabili. Un caso che mette in luce la spinta dell’AI nei processi manifatturieri e la necessità...
Tokyo mette sul tavolo un’infrastruttura di calcolo massiccia con le future GPU Rubin, segnando un salto di scala nella corsa alla sovranità digitale. La mossa ridisegna gli equilibri tra cloud e on-premise e alza la posta per chi dovrà contendersi l...
Shopee sta portando l'infrastruttura AI in-house con data center proprietari, puntando a ridurre latenza, controllare i dati e ottimizzare i costi dei carichi di raccomandazione e logistica. Una mossa che segnala la maturità del mercato tech del Sud-...
La joint venture tra KAI e Hyundai per l'Advanced Air Mobility non è solo una mossa industriale. È il segnale che la corsa alla sovranità tecnicica nel settore aerospaziale impone un controllo totale sui dati e sulle pipeline AI, accelerando gli inve...
La stasi del mercato dei veicoli elettrici dopo la scadenza dei crediti fiscali riflette le sfide del deployment di LLM su hardware locale. Costi elevati delle GPU e colli di bottiglia energetici mettono a rischio i piani di sovranità digitale. Una l...
Google integra avatar AI personalizzati in Vids grazie a Gemini Omni. Gli utenti possono creare video interpretati da una versione digitale di sé, usando prompt e immagini. La novità alza il livello per il settore, ma rafforza la dipendenza dal cloud...
29 paesi hanno firmato il trattato per istituire la World AI Cooperation Organization. L’accordo prevede cooperazione e governance globale sull’intelligenza artificiale. Dietro l’annuncio diplomatico si cela una partita cruciale per la sovranità dei ...
Un round Serie D da 1,5 miliardi di dollari, guidato da Atreides Management, Index Ventures e TCV, con Nvidia tra gli investitori, porta la valutazione di Fireworks a 17,5 miliardi. La startup californiana punta su un’idea controcorrente: le aziende ...
Un sistema con una RTX 4060 Ti e un Ryzen 5 ha raggiunto 7 token al secondo su un LLM da 98 GB, usando solo CPU e RAM. In una settimana, gli ultimi commit di llama.cpp hanno triplicato la velocità. Un segnale forte per chi cerca inference on-premise ...
Il rilascio di Kimi K3, un Large Language Model da 2.8 trilioni di parametri con una finestra di contesto di 1 milione di token, segna un'evoluzione significativa. Le sue avanzate capacità in coding, ragionamento a lungo termine e gestione di agenti ...
