Un movimento crescente spinge l'inference e l'addestramento AI verso infrastrutture locali, per privacy, prevedibilità dei costi e tensioni geopolitiche. L'adozione di modelli self-hosted sta accelerando da server aziendali a singole workstation.
Poolside rilascia Laguna-S-2.1, un LLM da 120 miliardi di parametri, accompagnato da file GGUF e da un fork personalizzato di llama.cpp. Scelta inedita che accelera il deployment on-premise e abbassa la barriera per l’esecuzione locale di modelli di ...
Un messaggio criptico di un esperto ML alimenta l’attesa per un punto di svolta nell’inference locale. La spinta congiunta di TCO, sovranità dei dati e maturità degli stack prefigura uno scenario post-cloud per i LLM.
Un utente decide di scaricare tutti i migliori LLM attuali dopo le polemiche sul modello Kimi. Una reazione istintiva? No, la spia di un cambiamento strutturale verso la sovranità digitale e l’infrastruttura on-premise.
Un post su Reddit chiede al team Qwen di rilasciare un modello Mixture of Experts da 100 miliardi di parametri eseguibile su “Spark”. Dietro la richiesta c’è la spinta verso LLM sempre più capaci su hardware consumer, un trend che rimodella l’equilib...
Un post su Reddit chiede al team Qwen nuove versioni del modello 35B-A3B. Dietro l'appello c'è una fame di architetture MoE con pochi parametri attivi, ideali per l'inference on-premise. Il caso segnala uno spostamento strutturale verso modelli capac...
L’adozione massiccia di strumenti AI autonomi non ha scosso le pipeline di vendita B2B, rimaste piatte. Il paradosso segnala che il solo accesso ad agenti cloud non basta: per attivare il potenziale commerciale servono controllo sui dati, fine-tuning...
Alibaba Qwen torna a far parlare di sé con un nuovo teaser. Il timing non è casuale: la sequenza di rilasci open-weight del team cinese sta ridisegnando gli equilibri dell'inference self-hosted, aprendo spazi per chi cerca sovranità dei dati al di fu...
Una domanda su Reddit rivela un fenomeno sommerso: professionisti e aziende accumulano copie locali dei migliori LLM aperti su capienti HDD. Non è nostalgia del vintage, ma un calcolo di sovranità digitale e resilienza operativa, di fronte all'incert...
Il driver open-source NVK Vulkan per GPU NVIDIA continua a migliorare con Mesa 26.2, segnale di un ecosistema libero sempre più competitivo. Analizziamo cosa significa per chi sceglie stack on-premise e sovranità tecnicica.
Un centinaio di dipendenti Google protesta per la sicurezza del lavoro davanti alla sede di Mountain View. La petizione con oltre 4.500 firme consegnata all'azienda accende un dibattito che va oltre le mura della Silicon Valley: la dipendenza da forn...
Tokyo mette sul tavolo un’infrastruttura di calcolo massiccia con le future GPU Rubin, segnando un salto di scala nella corsa alla sovranità digitale. La mossa ridisegna gli equilibri tra cloud e on-premise e alza la posta per chi dovrà contendersi l...
Thinking Machines Lab, fondato da Mira Murati, rilascia Inkling: un LLM open-weight che non punta al primato nei benchmark. Una scelta politica che riporta al centro personalizzazione, controllo e sovranità dei dati.
Un utente con hardware limitato sceglie Gemma 4 12B quantizzato per il proprio assistente personale, dimostrando che l'utilità reale spesso batte le dimensioni. La corsa ai LLM più grandi nasconde una verità pragmatica: il modello vincente è quello c...
La domanda di acceleratori per AI sta congestionando le spedizioni aeree e marittime, facendo lievitare i costi di trasporto. Per le aziende che puntano su deployment on-premise di LLM, la pressione sulla logistica complica il calcolo del TCO e intro...
DeepSeek pubblica su Hugging Face il modello V4-Pro-DSpark e il paper tecnico DSpark. Un rilascio che alimenta la strategia di chi punta su LLM self-hosted e sovranità dei dati, riducendo la dipendenza dal cloud.
La corsa ai Large Language Models on-premise si scontra spesso con un vincolo concreto: la disponibilità di GPU professionali. Lavorare senza hardware da data center, sfruttando schede consumer, CPU e quantization aggressiva, richiede una consapevole...
Un nuovo sondaggio ridefinisce l'apprendimento continuo come problema di ecosistema, non solo di algoritmo. Per chi gestisce modelli in produzione, emergono cinque principi di progettazione che affrontano la perdita di plasticità, l'ereditarietà dell...
Nessuna nuova funzionalità di virtualizzazione KVM per architettura ARM64 nel ciclo Linux 7.2. L’assenza è attribuita al carico di lavoro straordinario generato da correzioni legate all’intelligenza artificiale, che sta monopolizzando le risorse di s...
OpenAI ha lanciato un’iniziativa per individuare e correggere vulnerabilità nei progetti open source. La notizia interessa da vicino chi gestisce modelli in locale, perché componenti di servizio come vLLM, llama.cpp o Ollama, su cui si basano molti d...
Dalla proposta del 1955 al boom dei LLM, l'intelligenza artificiale ha alternato inverni e primavere. Oggi la diffusione dei modelli generativi riporta al centro il controllo dei dati e la sovranità tecnicica, spingendo molte organizzazioni a valutar...
L’ultimo position paper di Anthropic delinea una visione per l’IA di frontiera. Ma per molti professionisti la reazione è stata opposta: tornare ai modelli locali. L’articolo scava nelle ragioni – sovranità dei dati, controllo dei costi, latenza – e ...
Un server con due GPU Radeon AI PRO R9700 e 64 GB di VRAM totale mette alla prova Qwen 3.6 27B in quantization Q8 con Multi-Token Prediction. Decode fino a 67 token/s su contesti pieni, prefill oltre 1.500 t/s e prompt caching efficiente: uno spaccat...
L’ultima mossa dell’amministrazione Trump contro Anthropic, discussa nel podcast Equity, non è solo una questione politica. Per le aziende che valutano dove far girare i propri LLM, la vicenda segnala un rischio concreto: la dipendenza da provider cl...
