Un forte trend vede aziende e sviluppatori spostare i carichi di lavoro AI su hardware locale, spinti dal controllo dei costi, dalla sovranità dei dati e da strumenti sempre più maturi come llama.cpp, ROCm e modelli leggeri come Bonsai 27B e Qwen. Gli articoli evidenziano acceleratori hardware, ottimizzazione della memoria e la crescente fattibilità degli LLM fuori dal cloud.
L'annuncio del nuovo modello Qwen3.8, ancora senza dettagli ufficiali, mette in guardia gli appassionati di LLM on-premise: la richiesta di memoria video potrebbe essere significativa. La scelta di Alibaba di spingere su una taglia intermedia riapre ...
Alibaba Qwen torna a far parlare di sé con un nuovo teaser. Il timing non è casuale: la sequenza di rilasci open-weight del team cinese sta ridisegnando gli equilibri dell'inference self-hosted, aprendo spazi per chi cerca sovranità dei dati al di fu...
Il confronto tra Qwen e Gemma svela che la resilienza alla quantization conta più dei benchmark grezzi. Per chi fa inference locale, il quantization-aware training ridisegna hardware, TCO e sovranità dei dati: un'analisi delle implicazioni struttural...
Una domanda su Reddit rivela un fenomeno sommerso: professionisti e aziende accumulano copie locali dei migliori LLM aperti su capienti HDD. Non è nostalgia del vintage, ma un calcolo di sovranità digitale e resilienza operativa, di fronte all'incert...
Il team specializzato in inference per LLM si unisce ad AMD, puntando a ridurre il divario con NVIDIA negli scenari on-premise. La mossa ha implicazioni dirette per chi valuta hardware alternativo per deployment locale di modelli linguistici.
Una build custom di llama.cpp con kernel ROCmFPX porta il modello Qwen3.5 da 122 miliardi di parametri su GPU AMD a 28.50 token al secondo, riducendo l’occupazione di memoria del 18% e accelerando l’inference del 37%. Un banco di prova per la fattibi...
PrismML ha quantizzato il modello Qwen3.6-27B fino a 1 bit, portandolo da 54 GB a 3,9 GB. Bonsai 27B gira su un iPhone 15 Pro Max con 8 GB di RAM, mantenendo il ~90% delle prestazioni benchmark. La matematica regge, ma conoscenza e ragionamento calan...
Un sistema con una RTX 4060 Ti e un Ryzen 5 ha raggiunto 7 token al secondo su un LLM da 98 GB, usando solo CPU e RAM. In una settimana, gli ultimi commit di llama.cpp hanno triplicato la velocità. Un segnale forte per chi cerca inference on-premise ...
Un utente con hardware limitato sceglie Gemma 4 12B quantizzato per il proprio assistente personale, dimostrando che l'utilità reale spesso batte le dimensioni. La corsa ai LLM più grandi nasconde una verità pragmatica: il modello vincente è quello c...
Dopo oltre un anno di sviluppo arriva la prima release stabile di ExLlamaV3, ricca di ottimizzazioni che vanno dritte al cuore dei colli di bottiglia per chi fa girare LLM su hardware proprio. L'addio a flash-attn e xformers, nuovi kernel per attenti...
L'annuncio di Bonsai 27B, primo modello da 27B a funzionare su smartphone, ridefinisce i confini tra cloud e dispositivo. Le implicazioni per la sovranità dei dati e il deployment on-premise sono profonde, anche se i compromessi tecnici restano il no...
Un ringraziamento della community per un traguardo simbolico di llama.cpp racconta molto più di un semplice aggiornamento software: è il segnale che l'inference locale su hardware comune è ormai una realtà produttiva, capace di ridefinire strategie d...
Un utente racconta la sua odissea di 7 ore per far funzionare due RTX 6000 con VLLM e un modello DeepSeek. Il messaggio è chiaro: «credere in sé stessi» è la molla di chi ora si affida all’hardware locale per l’intelligenza artificiale, spingendo il ...
DeepSeek pubblica su Hugging Face il modello V4-Pro-DSpark e il paper tecnico DSpark. Un rilascio che alimenta la strategia di chi punta su LLM self-hosted e sovranità dei dati, riducendo la dipendenza dal cloud.
Un thread su Reddit chiede quale flusso di lavoro per LLM locali abbia fatto la differenza. Emerge che il valore non sta nei modelli ma nelle pipeline: RAG, coding agent, indicizzazione. Per chi valuta deployment on-premise, è l'occasione per ripensa...
HauhauCS rilascia due varianti uncensored e bilanciate dei modelli Gemma 4, con quantization QAT a 4-bit e predizione multi-token (MTP) per coding speculativo. I guadagni in velocità arrivano al 53% senza perdita di qualità, su hardware consumer. I m...
Il Regno Unito finanzia con 60 milioni di sterline due laboratori universitari per sviluppare AI open source ed efficiente, capace di funzionare su hardware comune. L’iniziativa punta a ridurre il dominio dei giganti tech americani e a costruire un’o...
Un hobby developer cerca un metodo verificabile per convincere gli utenti che la sua chat LLM non raccoglie dati. Tra TEE, open source e hashing riproducibile, l'articolo esplora le opzioni tecniche e il loro impatto sulla fiducia, inquadrando la que...
L’ultimo position paper di Anthropic delinea una visione per l’IA di frontiera. Ma per molti professionisti la reazione è stata opposta: tornare ai modelli locali. L’articolo scava nelle ragioni – sovranità dei dati, controllo dei costi, latenza – e ...
Un server con due GPU Radeon AI PRO R9700 e 64 GB di VRAM totale mette alla prova Qwen 3.6 27B in quantization Q8 con Multi-Token Prediction. Decode fino a 67 token/s su contesti pieni, prefill oltre 1.500 t/s e prompt caching efficiente: uno spaccat...
Con iOS 27, Apple punta su funzionalità AI pratiche che girano direttamente su iPhone, riducendo la dipendenza dal cloud. Un segnale per chi valuta deployment on-premise e controllo dei dati: il futuro dell'AI passa anche dall'edge.
