Topic / Trend Rising

IA On-Premise e Deployment Locale di LLM

Aziende e sviluppatori distribuiscono sempre più LLM in locale per mantenere la sovranità dei dati e ridurre la dipendenza dal cloud. Strumenti come Ollama, llama.cpp e quantizzazioni ottimizzate rendono praticabile l'inference locale potente.

Detected: 2026-06-22 · Updated: 2026-07-14

Qwen3-30B a 50 tok/s su una RTX 5060 Ti: il motore CUDA che riscrive l’inference locale

Un esperimento con codice C++ e CUDA su misura porta un modello MoE da 30 miliardi di parametri a superare 50 token al secondo su una GPU consumer con 16 GB di VRAM. Il motore garlic-inference supera llama.cpp del 50%, mostrando margini di ottimizzaz...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-09 • TechCrunch AI

Ollama raccoglie 65 milioni: 9 milioni di sviluppatori ora eseguono LLM in locale

Il round da 65 milioni di dollari con Benchmark sancisce la maturità del tool open source per eseguire modelli AI sul proprio PC. Un traguardo che riflette un cambiamento strutturale: l'inference locale non è più un hobby, ma una scommessa concreta s...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-08 • LocalLLaMA

LLM locale con 31B e GPU da 32GB surclassa ChatGPT: il mito del cloud a pezzi

Dopo aver acquistato una GPU con 32GB di VRAM e testato Gemma 4 31B quantizzato a 5 bit, un utente Reddit scopre che il modello locale surclassa nettamente il ChatGPT gratuito. L'esperienza smaschera il possibile declino del tier libero di OpenAI e o...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-08 • LocalLLaMA

LLM locali, senza RAG non c'è accuratezza: i numeri di uno sviluppatore

Un developer ha verificato se i modelli linguistici locali rispondono correttamente a domande tecniche: senza RAG le performance crollano, con un knowledge base diventano affidabili. Il thinking non incide quasi per niente. Apple Intelligence, limita...

#Hardware #LLM On-Premise #RAG

2026-07-07 • LocalLLaMA

LLM locale già "abbastanza buono": l'esperienza con Qwen 35B A3B

Un utente racconta che il modello Qwen 3.6 35B A3B, usato per coding e pianificazione tecnica, funziona senza intoppi se c'è una disciplina di lavoro solida. È il segnale che i LLM on-premise sono maturi e la vera partita ora si gioca sul processo, n...

#Hardware #LLM On-Premise #DevOps

2026-07-07 • LocalLLaMA

Audex-30B-A3B: l'LLM MoE di NVIDIA che ora fonde voce e testo per il self-hosting

NVIDIA mette a disposizione Audex-30B-A3B, un LLM a mistura di esperti da 30 miliardi di parametri che estende Nemotron-Cascade-2 all'audio senza regredire nelle capacità testuali. Il modello supporta recognition, traduzione, sintesi vocale e generaz...

#Hardware #LLM On-Premise #DevOps

2026-06-20 • LocalLLaMA

GLM 5.2, velocità in locale: 7.8 token/s con sei RTX 3090 e 90K di contesto

Un utente ha condiviso su Reddit le prime metriche di inference locale del modello GLM 5.2: su sei RTX 3090 con quantization UD-IQ2_M e 90K contesto, genera 7,8 token al secondo. Numeri che accendono il dibattito su cosa serva per eseguire LLM di gra...

#Hardware #LLM On-Premise #DevOps

2026-06-19 • LocalLLaMA

GLM-5.2: il LLM da 1,5TB ora gira su un Mac, con l’82% di accuratezza

La versione a 2 bit di GLM-5.2, ridotta da 1,51 TB a 238 GB, conserva circa l’82% dell’accuratezza. Ora eseguibile localmente su Mac con 256 GB di memoria unificata o sistemi con RAM/VRAM equivalenti, grazie al supporto in llama.cpp e Unsloth Studio....

#Hardware #LLM On-Premise #DevOps

2026-06-18 • LocalLLaMA

Cosa fare con 192 GB di VRAM inattiva: il caso del nodo multi-GPU da riconvertire

Un professionista IT scopre un server con 8 GPU Framework RTX 6000 quasi sempre fermo. La domanda al capo: possiamo usarlo per far girare modelli linguistici di grandi dimensioni in locale? AI-RADAR analizza le potenzialità tecniche e gli aspetti str...

#Hardware #LLM On-Premise #DevOps

2026-06-18 • Tom's Hardware

L'AI locale sfida il cloud: due mini PC gestiscono milioni di token e riducono i costi

Un approccio innovativo dimostra come sia possibile abbandonare il cloud per l'inference di Large Language Models (LLM), sfruttando la potenza di due mini PC. Questa strategia permette di elaborare milioni di token al giorno, generando significativi ...

#Hardware #LLM On-Premise #DevOps

2026-06-18 • LocalLLaMA

llama.cpp si evolve: gestione completa dei modelli via API

Un recente aggiornamento di llama.cpp introduce la gestione completa dei modelli tramite API, consentendo il caricamento, lo scaricamento e la gestione del ciclo di vita degli LLM direttamente da un'interfaccia programmatica. Questa novità semplifica...

#Hardware #LLM On-Premise #DevOps

2026-06-17 • LocalLLaMA

GLM 5.2: Un passo avanti per l'AI locale e il potenziale della distillazione

Il rilascio di GLM 5.2, un Large Language Model da 744 miliardi di parametri con licenza MIT, segna un'importante evoluzione per l'AI on-premise. Sebbene il modello completo richieda cluster di livello enterprise, il suo potenziale di distillazione e...

#Hardware #LLM On-Premise #Fine-Tuning

2026-06-15 • LocalLLaMA

Ollama per l'on-premise: un'analisi critica delle sue implicazioni

Un recente dibattito online ha sollevato interrogativi sull'opportunità di utilizzare Ollama per il deployment di Large Language Models in ambienti on-premise. L'articolo esplora le considerazioni tecniche e operative che le aziende devono valutare, ...

#Hardware #LLM On-Premise #DevOps

2026-06-15 • The Next Web

Gestione LLM on-premise: il peso operativo oltre l'hardware

L'adozione di Large Language Models (LLM) in ambienti self-hosted offre vantaggi in termini di sovranità dei dati e controllo, ma introduce un significativo carico operativo. Questo articolo esplora come il Total Cost of Ownership (TCO) vada ben oltr...

#Hardware #LLM On-Premise #DevOps

← Torna ai Topic

IA On-Premise e Deployment Locale di LLM

Articoli Correlati