Un movimento in rapida crescita verso l'esecuzione di grandi modelli linguistici interamente su hardware locale o consumer, spinto dai progressi nella quantization, strumenti come llama.cpp e crescenti esigenze di sovranità dei dati.
Un utente Reddit con 64 GB di VRAM condivide la sua esperienza di inference locale con una versione Unsloth di Qwen 3.5 122b-a10b, quantizzato UD-IQ4_NL, finestra di contesto 100.000 token e velocità di circa 30 tok/sec. L’architettura MoE consente d...
Bartowski ha reso disponibile su Hugging Face una versione del Large Language Model DeepSeek-V4-Flash nel formato GGUF. Questa release è significativa per chi cerca soluzioni di Inference on-premise, abilitando l'esecuzione efficiente del modello su ...
Nel secondo trimestre 2026 AMD ha concentrato gli sforzi sul fronte locale: dai nuovi progressi di GAIA, capace di interagire con Gmail tramite pipeline LLM self-hosted, a Lemonade SDK ridotto del 90%, fino all’arrivo di ROCm nei repository Ubuntu. I...
NVIDIA ha reso disponibile su Hugging Face il modello Qwen3.6-27B ottimizzato con Quantization NVFP4. Questa mossa sottolinea l'impegno verso l'efficienza nell'inference di Large Language Models, riducendo i requisiti di VRAM e migliorando il through...
Il merge del PR ufficiale integra il modello nel motore di inference C++ più diffuso per ambienti on-premise. Basta un clone, cmake e il download dei file GGUF per eseguire DeepSeek V4 su hardware comune, senza cloud.
Una pull request della community aggiunge il supporto a DeepSeek V4 in llama.cpp, abilitando l'inference on-premise e su hardware consumer. Si apre una nuova fase per il deployment privato del modello.
Un backend NPC game-agnostic gira interamente in locale grazie a STT NVIDIA Parakeet, all’LLM Gemma 4 26B e alla sintesi vocale Qwen3-TTS. L’ingrediente segreto è il RAG: inietta solo le azioni contestualmente sensate, mantenendo i prompt snelli e le...
Un aggiornamento sperimentale per Ornith-1.0-35B introduce un decoding speculativo nativo MTP che su singola GPU con llama.cpp porta la velocità a 233.8 token/s (+35%), con distribuzione del token successivo byte-identica al modello originale. Pubbli...
Il progetto llama.cpp ha integrato il supporto per DFlash, una nuova variante del meccanismo di attenzione pensata per ridurre l’uso di VRAM e accelerare l’esecuzione di Large Language Models su hardware consumer. L’aggiornamento rafforza le capacità...
Chi esegue modelli linguistici in locale si scontra con benchmark che ignorano i vincoli on-premise. La differenza reale tra open e closed source spesso conta meno della VRAM disponibile, mentre i modelli oltre i 70B promettono più di quanto offrono....
Un dibattito su Reddit, ripreso da AI-RADAR, mette in guardia: la strategia delle big tech USA di trattenere modelli avanzati potrebbe aprire un varco inaspettato per gli LLM cinesi open source. Per le aziende che puntano su deployment on-premise e s...
OpenAI limita il lancio di GPT-5.6 in seguito a una richiesta governativa, dichiarando che le restrizioni non dovrebbero diventare la norma. Il commento su Reddit coglie un punto: è un segnale per i modelli online avanzati, con gli LLM locali che div...
Spectral Labs ha rilasciato una quantization Q4_K_M di Qwen3.5 0.8B con un nuovo metodo calibrato che recupera il 96.5% del divario qualitativo rispetto al BF16, restando identica per dimensioni e compatibilità con llama.cpp. Un risultato che ridiseg...
I modelli Orthrus con head a diffusione stanno per atterrare su Hugging Face, accompagnati dal codice completo di training e evaluation. Una combinazione che può cambiare le carte per chi cerca controllo e sovranità nel self-hosting di LLM, rendendo ...
Un nuovo commit nel progetto llama.cpp reintroduce una gestione asincrona più aggressiva per i backend CUDA, riducendo le sincronizzazioni tra token e velocizzando la copia dei dati da CPU a GPU. L'ottimizzazione, pensata per migliorare il throughput...
Nonostante la popolarità del fine-tuning sui modelli Qwen, mancano riscontri concreti su versioni realmente superiori alla base. Un’indagine sulle possibili cause tecniche e sulle implicazioni per chi valuta deployment on-premise, dove l’adattamento ...
DeepSeek pubblica su Hugging Face il modello V4-Pro-DSpark e il paper tecnico DSpark. Un rilascio che alimenta la strategia di chi punta su LLM self-hosted e sovranità dei dati, riducendo la dipendenza dal cloud.
Il modello Ornith-1.0-35B è stato quantizzato a Q3_K_M, scendendo a 16.8 GB su disco e ~17 GiB di VRAM caricata. Verificato con metriche KL divergence e comportamento 14/14, cede solo 16 punti di accordo top-1 rispetto a Q6_K ma dimezza la memoria ne...
La pull request #25051 firmata da Piotr ‘pwilkin’ rende finalmente utilizzabile il parallelismo tensore su backend Vulkan in llama.cpp. Un passo concreto per l’inference di LLM su GPU non NVIDIA, che allarga gli scenari di deployment self-hosted e on...
Il modello ibrido Mamba+MoE di NVIDIA, quantizzato a 71 GB, gira interamente su GPU consumer e mantiene un recupero esatto di informazioni fino a 504.482 token. Decode stabile a 23 t/s grazie allo stato ricorrente degli strati Mamba, che evita il cro...
OpenAI ha limitato la distribuzione di GPT-5.6 su richiesta di un governo, scatenando un dibattito sulla sovranità digitale e l’accesso agli LLM. La mossa rilancia le alternative on-premise, dove il controllo dei dati e l’indipendenza da veti esterni...
Un thread su Reddit chiede quale flusso di lavoro per LLM locali abbia fatto la differenza. Emerge che il valore non sta nei modelli ma nelle pipeline: RAG, coding agent, indicizzazione. Per chi valuta deployment on-premise, è l'occasione per ripensa...
Un utente valuta di cedere la propria RTX 5090 per acquistare cinque RTX 5060 Ti da 16 GB e costruire un rig aperto con cavi riser PCIe 4.0. La domanda è chiara: conviene sacrificare potenza di calcolo per avere più VRAM totale? Una scelta che apre s...
La corsa ai Large Language Models on-premise si scontra spesso con un vincolo concreto: la disponibilità di GPU professionali. Lavorare senza hardware da data center, sfruttando schede consumer, CPU e quantization aggressiva, richiede una consapevole...
AMD ha contribuito un backend ONNX Runtime per il filtro DNN di FFmpeg, consentendo di eseguire modelli AI direttamente su GPU e NPU per compiti come upscaling e object detection. L’integrazione rafforza le opzioni di inference locale, riducendo la d...
Un utente con un cluster da 4-8 GPU NVIDIA RTX 6000 Pro chiede esperienze concrete su modelli come DeepSeek V4 Pro e GLM 5.2 in quantization a 4 bit. Il dubbio: la compressione penalizza troppo i carichi agentici e di programmazione rispetto agli 8 b...
HauhauCS rilascia due varianti uncensored e bilanciate dei modelli Gemma 4, con quantization QAT a 4-bit e predizione multi-token (MTP) per coding speculativo. I guadagni in velocità arrivano al 53% senza perdita di qualità, su hardware consumer. I m...
Mistral ha presentato un modello OCR pensato per la gestione documentale, in grado di girare interamente su server locali. Punta all’ufficio contabile globale con 170 lingue e costi contenuti, segnando un’evoluzione concreta per la sovranità dei dati...
