Topic / Trend Rising

L'Impennata dell'AI On-Premise e del Deployment Locale dei LLM

Aziende e sviluppatori eseguono sempre più modelli linguistici su hardware locale per ridurre i costi, migliorare la sovranità dei dati ed evitare la dipendenza dal cloud. Strumenti come Ollama, llama.cpp e le tecniche di quantization rendono l'inference locale competitiva con i servizi cloud.

Detected: 2026-07-13 · Updated: 2026-07-13

Server LLM da 35 miliardi di parametri a 100 dollari: il segreto sono due vecchie GPU Pascal

Due NVIDIA P102-100 da mining, acquistabili per circa 100 dollari, fanno girare Qwen 35B con llama.cpp servendo tre utenti in parallelo a 23 token al secondo. Un dimostratore di come l'inference on-prem possa diventare accessibile grazie al supporto ...

#Hardware #LLM On-Premise #DevOps

2026-07-11 • LocalLLaMA

Qwen3-30B a 50 tok/s su una RTX 5060 Ti: il motore CUDA che riscrive l’inference locale

Un esperimento con codice C++ e CUDA su misura porta un modello MoE da 30 miliardi di parametri a superare 50 token al secondo su una GPU consumer con 16 GB di VRAM. Il motore garlic-inference supera llama.cpp del 50%, mostrando margini di ottimizzaz...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-10 • TechCrunch AI

Hugging Face: le aziende dicono basta al noleggio dell’AI

Il CEO di Hugging Face, Clem Delangue, racconta un mercato in cui le imprese abbandonano progressivamente i servizi API a consumo per portare i modelli in casa. Con circa metà della Fortune 500 sulla piattaforma, il self-hosting diventa la scelta str...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-10 • LocalLLaMA

Strix Halo: inference LLM da 50 token/s a 48 centesimi al giorno

Un utente mostra come un sistema basato su APU Strix Halo gestisca un LLM da 35 miliardi di parametri in locale, consumando meno di 150W e con costi energetici irrisori. Un confronto con le GPU discrete illumina nuovi parametri di valutazione per il ...

#Hardware #LLM On-Premise #DevOps

2026-07-09 • TechCrunch AI

Ollama raccoglie 65 milioni: 9 milioni di sviluppatori ora eseguono LLM in locale

Il round da 65 milioni di dollari con Benchmark sancisce la maturità del tool open source per eseguire modelli AI sul proprio PC. Un traguardo che riflette un cambiamento strutturale: l'inference locale non è più un hobby, ma una scommessa concreta s...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-08 • LocalLLaMA

LLM locale con 31B e GPU da 32GB surclassa ChatGPT: il mito del cloud a pezzi

Dopo aver acquistato una GPU con 32GB di VRAM e testato Gemma 4 31B quantizzato a 5 bit, un utente Reddit scopre che il modello locale surclassa nettamente il ChatGPT gratuito. L'esperienza smaschera il possibile declino del tier libero di OpenAI e o...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-08 • Phoronix

AMD ZenDNN 6.0: l’inference on-premise prende quota sui processori Zen

AMD ha aggiornato ZenDNN, la libreria open source per accelerare l’inference su CPU Zen. La versione 6.0 aggiunge ottimizzazioni e amplia il supporto ai modelli quantizzati, rafforzando il ruolo delle CPU EPYC e Ryzen per chi gestisce carichi AI in l...

#Hardware #LLM On-Premise #DevOps

2026-07-08 • LocalLLaMA

LLM locali, senza RAG non c'è accuratezza: i numeri di uno sviluppatore

Un developer ha verificato se i modelli linguistici locali rispondono correttamente a domande tecniche: senza RAG le performance crollano, con un knowledge base diventano affidabili. Il thinking non incide quasi per niente. Apple Intelligence, limita...

#Hardware #LLM On-Premise #RAG

2026-07-07 • LocalLLaMA

LLM locale già "abbastanza buono": l'esperienza con Qwen 35B A3B

Un utente racconta che il modello Qwen 3.6 35B A3B, usato per coding e pianificazione tecnica, funziona senza intoppi se c'è una disciplina di lavoro solida. È il segnale che i LLM on-premise sono maturi e la vera partita ora si gioca sul processo, n...

#Hardware #LLM On-Premise #DevOps

2026-07-07 • LocalLLaMA

Audex-30B-A3B: l'LLM MoE di NVIDIA che ora fonde voce e testo per il self-hosting

NVIDIA mette a disposizione Audex-30B-A3B, un LLM a mistura di esperti da 30 miliardi di parametri che estende Nemotron-Cascade-2 all'audio senza regredire nelle capacità testuali. Il modello supporta recognition, traduzione, sintesi vocale e generaz...

#Hardware #LLM On-Premise #DevOps

2026-07-07 • LocalLLaMA

HuggingBay: l'ironia di Reddit diventa strumento per il self-hosting dei modelli

Dalla community di LocalLLaMA nasce HuggingBay, un progetto che concretizza il bisogno di condividere Large Language Models al di fuori delle piattaforme ufficiali. L'iniziativa segnala una spinta verso infrastrutture decentralizzate e mette in luce ...

#Hardware #LLM On-Premise #DevOps

2026-07-06 • LocalLLaMA

Qwen3.6-27B Q8 e cache KV: 115K token su singola RTX 5090

L’esperimento di un utente dimostra che un LLM da 27B quantizzato a Q8 può servire contesti fino a 115.000 token su una GPU consumer con 32 GB di VRAM, grazie alla quantization selettiva della cache chiave-valore. I compromessi tra memoria, velocità ...

← Torna ai Topic

L'Impennata dell'AI On-Premise e del Deployment Locale dei LLM

Articoli Correlati