Quando DIGITIMES titola che la corsa all’AI generativa in Cina sta virando sugli ecosistemi open source, non si tratta di una semplice dichiarazione di principio. È la fotografia di una ristrutturazione profonda, forzata da vincoli materiali e calcoli geopolitici che stanno ridisegnando non solo il panorama tecnicico cinese, ma l’intera mappa dell’infrastruttura AI globale. Per AI-RADAR, dove l’attenzione è sempre puntata sul deployment on-premise, sull’hardware per inference e training e sulla sovranità dei dati, questa svolta rappresenta un acceleratore di verità: la Cina sta dimostrando che in uno scenario di restrizioni estreme, il self-hosting di LLM non è un’alternativa di nicchia, ma la via maestra per garantire continuità operativa e controllo strategico. E le lezioni sono trasferibili a qualsiasi organizzazione che metta la sovranità digitale al centro della propria strategia.

Vicoli ciechi hardware e la spinta verso l’on-premise

Le restrizioni americane sull’export di GPU ad alte prestazioni hanno creato un collo di bottiglia che nessuna scorciatoia software può aggirare completamente. Le aziende cinesi non possono più contare su un flusso garantito di acceleratori NVIDIA o AMD per scalare i loro training di LLM. Questo vincolo ha innescato un doppio movimento: da un lato, la ricerca di architetture di calcolo alternative, dai chip domestici di Huawei Ascend alle soluzioni di Biren e Moore Threads; dall’altro, una pressione formidabile sull’efficienza del software. Qui entra in gioco l’open source: framework come PyTorch (già ampiamente adottato) e modelli aperti come la famiglia Llama o i derivati cinesi Qwen diventano la base su cui costruire interi stack ottimizzati per l’hardware locale. Non si tratta solo di risparmiare licenze: l’accesso al codice e ai pesi permette agli ingegneri di scavare nei colli di bottiglia e adattare kernel, scheduler e pipeline di inference a silicio che non avrebbe mai ricevuto attenzione dai vendor occidentali. La quantization, in particolare, è diventata l’arma tattica: portare modelli da decine di miliardi di parametri su GPU con VRAM limitata a INT4 o FP8 non è più un esercizio accademico, ma una necessità produttiva. Questo sforzo di ottimizzazione sposta il baricentro della competizione dal “chi ha il modello più grande” al “chi serve inferenze a costi e latenze accettabili su hardware vincolato”.

La seconda conseguenza del blocco è l’impermeabilizzazione del mercato cinese ai servizi AI cloud globali. Quando ogni gigabyte di VRAM conta e la latenza di rete verso datacenter esteri diventa un lusso insostenibile, l’on-premise si trasforma nell’unica architettura praticabile per carichi sensibili. Non è un caso che le aziende cinesi stiano investendo massicciamente in software di orchestrazione capace di aggregare nodi eterogenei — cluster costituiti da GPU di fornitori diversi, persino di generazioni precedenti — per spremere ogni ciclo di calcolo utile. In questo scenario, il framework di serving diventa il vero differenziatore competitivo, non il singolo acceleratore. E l’open source fornisce il terreno comune per questa interoperabilità forzata: senza la possibilità di ispezionare e modificare i driver e i runtime, l’integrazione di silicio non standard sarebbe proibitiva.

L’open source come moltiplicatore di sovranità

La scelta dell’open source in Cina non è mai stata una questione puramente tecnicistica. Per Pechino, la verificabilità e la modificabilità del codice sono requisiti di sicurezza nazionale. Un LLM eseguito su infrastruttura cloud occidentale è un asset opaco: i dati transitano attraverso stack proprietari, i meccanismi di logging e i checkpoint di training sfuggono al controllo dell’utilizzatore finale. L’open source ribalta questa dinamica: le organizzazioni possono ispezionare ogni componente della pipeline, dal pre-processing dei dati al sampling dei token, e certificare la conformità alle normative sulla residenza dei dati senza delegare la fiducia a terze parti. Piattaforme sostenute dal governo come ModelScope fungono da abilitatore: offrono repository di modelli pre-addestrati e tool di fine-tuning che incentivano un ecosistema collaborativo, ma soprattutto mantengono il controllo entro i confini nazionali. Questo approccio ha implicazioni profonde per il costo totale di possesso: l’assenza di licenze ricorrenti e lock-in proprietario riduce il TCO nel lungo periodo, specialmente quando si opera su centinaia o migliaia di nodi di inference.

Inoltre, la possibilità di customizzare l’intero stack libera le imprese dal ciclo di aggiornamento imposto dai vendor: possono mantenere versioni stabili per anni, integrare ottimizzazioni specifiche per i loro carichi e persino correggere vulnerabilità senza attendere patch ufficiali. In un contesto di tensioni geopolitiche, questa autonomia è un bene inestimabile che trasforma il software da costo a riserva di valore. Non a caso, alcune banche e istituzioni finanziarie cinesi stanno già migrando verso stack on-premise basati su LLM aperti, dove il controllo granulare della pipeline di dati è vincolante per legge.

Il nuovo ecosistema hardware: vincitori e vinti silenziosi

Se osserviamo la filiera dei semiconduttori, la virata open source sta ridistribuendo le opportunità in modo asimmetrico. I grandi vendor cloud occidentali — AWS, Azure, Google Cloud — vedono progressivamente erodersi la possibilità di conquistare quote nel mercato cinese dell’AI, già ostaggio di barriere regolatorie. Le aziende di chip statunitensi, già gravate dai controlli all’export, assistono a un’accelerazione del declino della loro presenza diretta: non solo non possono vendere le GPU più potenti, ma ora l’intero ecosistema software si sta adattando per espellerle dalla catena del valore. Al loro posto, cresce una costellazione di produttori locali di silicio — Huawei, Moore Threads, Biren, Enflame — che trovano nei framework aperti e nei modelli open source un mercato affamato di hardware compatibile con i carichi di inference. La quantization gioca qui un ruolo cruciale: tecniche come INT4 e FP8 consentono di eseguire LLM con decine di miliardi di parametri su GPU domestiche che altrimenti sarebbero state considerate inadeguate. Il TCO di un cluster on-premise basato su chip locali scende, e con esso la barriera all’adozione per aziende di medie dimensioni.

Non si tratta solo di silicio: l’industria sta imparando che l’efficienza del software può compensare, entro certi limiti, le lacune dell’hardware. I team di ricerca cinesi stanno investendo su tecniche di pruning, distillation e scheduling asincrono, trasformando la scarsità di risorse in un laboratorio di innovazione forzata. Questo potrebbe produrre metodologie e tool che, una volta maturi, fluiranno nell’ecosistema globale, abbassando il costo dell’inference ovunque. Già oggi, alcune aziende stanno sperimentando modelli con meno di 10 miliardi di parametri che, grazie a pipeline di fine-tuning mirate, raggiungono performance competitive su hardware modesto.

La pipeline di serving come campo di battaglia

Nell’ecosistema che si sta delineando, la corsa non è a chi addestra il singolo LLM più grande, ma a chi costruisce la pipeline di fine-tuning e serving più efficiente su hardware autoctono. Questo strato dell’infrastruttura — comprendente scheduler, load balancer, sistemi di caching dei KV, tecniche di speculative decoding e ottimizzazioni di memoria — è il vero collo di bottiglia per il deployment on-premise. Framework come vLLM, SGLang e le varianti cinesi ottimizzate per Ascend stanno catalizzando l’attenzione degli investitori. Chi riuscirà a orchestrare nodi eterogenei (un mix di GPU di fornitori diversi, magari con diverse capacità di VRAM) e a spremere ogni gigabyte disponibile, si troverà in una posizione di vantaggio enorme. Non è fantascienza: nei datacenter cinesi si stanno già aggregando cluster di NVIDIA A100 di vecchia generazione con nuove schede Huawei, e la differenza la fa il middleware capace di bilanciare il carico senza colli di bottiglia.

Questo sposta il barometro della competizione dal training all’inference. Per la maggior parte delle imprese, il costo di training di un LLM da zero è proibitivo; il valore emerge dal riutilizzo di modelli aperti e dal loro adattamento tramite fine-tuning. Di conseguenza, la capacità di servire milioni di richieste al giorno su hardware limitato diventa l’elemento discriminante. Ed è qui che la Cina, grazie alla pressione delle restrizioni, sta accumulando un know-how difficilmente replicabile in contesti meno vincolati. Le aziende occidentali che trascurano questo strato rischiano di trovarsi dipendenti da soluzioni di serving progettate per GPU di fascia alta, costose e difficili da reperire.

Oltre la Cina: un testbed per il mondo

L’esperimento cinese ha una portata che travalica i confini nazionali. Le organizzazioni europee, indiane o mediorientali che oggi valutano il deployment on-premise di LLM per motivi di sovranità dei dati o compliance normativa possono osservare la Cina come un caso di studio estremo. Se in uno scenario di restrizioni hardware così severe il self-hosting funziona, a maggior ragione può funzionare dove l’accesso alle GPU di ultima generazione è solo limitato, non precluso. Questo ridisegna gli incentivi per l’intera industry: i vendor di software open source per AI — da Hugging Face a GitHub — vedono un’opportunità di espansione in regioni che vogliono emulare il modello cinese di controllo, ma senza legami con gli ecosistemi governativi di Pechino. Allo stesso tempo, l’ascesa di un ecosistema AI cinese basato su standard aperti, ma profondamente intrecciato con hardware proprietario locale (i chip Ascend, ad esempio, utilizzano un’architettura di memoria eterogenea non sempre compatibile con i tool mainstream), rischia di creare una biforcazione del mercato. Da un lato avremo uno stack occidentale basato su CUDA e GPU NVIDIA, dall’altro uno stack cinese con framework adattati a silicio domestico. Per le aziende globali che operano in entrambi i mercati, questo significa dover mantenere competenze e codebase duali, aumentando la complessità e il TCO complessivo.

Segnali da monitorare

Per cogliere l’evoluzione di questa transizione, occorre osservare alcuni indicatori chiave. Primo, la maturazione del software di orchestrazione per cluster eterogenei: se i framework di serving open source riusciranno ad astrarre completamente la diversità hardware, l’on-premise diventerà una commodity, abbassando ulteriormente la dipendenza da singoli fornitori. Secondo, l’andamento del TCO dei deployment basati su chip cinesi: se il costo per token inferito su Ascend o Moore Threads scenderà sotto una soglia critica, anche i mercati emergenti potrebbero preferire soluzioni non occidentali per motivi economici. Terzo, la direzione delle policy di export americane: un ulteriore giro di vite potrebbe accelerare la fuga da CUDA e consolidare l’ecosistema parallelo, mentre un allentamento potrebbe rallentare ma non invertire la tendenza, dato che il know-how accumulato nell’ottimizzazione per hardware modesto è ormai un asset strategico. Infine, va osservato il comportamento delle grandi aziende cinesi di AI come Baidu, Alibaba e Tencent. Se queste realtà, pur mantenendo alcuni servizi cloud, sposteranno in modo visibile i loro carichi su infrastrutture on-premise basate su chip locali e modelli aperti, il segnale diverrà inconfutabile: la sovranità digitale non è uno slogan, ma un nuovo paradigma operativo che ridisegnerà la geografia dell’intelligenza artificiale per il prossimo decennio.