Un numero crescente di vendor e progetti community distribuisce modelli, runtime e strumenti per l'inference locale di LLM su GPU consumer e workstation. L'attenzione è su self-hosting, deployment con VRAM limitata e diversità hardware oltre le GPU da data center.
Un utente documenta il salto da 9 a 48 token/s passando a STRATA su CachyOS con driver NVIDIA pronti, usando Qwen 3.8 Flash Next a 3 bit. La GPU da 8 GB regge 32k di contesto e arriva a 42k, restando a 130 MB dal crash. Il caso mostra pregi e limiti ...
System76 ha pubblicato COSMIC Epoch 1.11, point release del desktop environment open source in Rust per Pop!_OS. Aggiorna il supporto al protocollo Wayland xdg-dialog-v1 e la gestione multi-GPU. Per workstation Linux usate per training e inference lo...
DeepSeek ha rilasciato DeepInfer, un framework open source per l'inference su larga scala dei propri modelli. La pubblicazione offre alla community un riferimento ufficiale per studiare le ottimizzazioni di serving e migliorare motori custom come guf...
Migtissera distribuisce in formato GGUF un fine-tuning di Qwen che, secondo i benchmark interni, genera fino a un quarto di token in meno a parità di punteggio. Meno token significa risposte più rapide, sessioni più lunghe e costi di inference ridott...
Con North Micro Vision su llama.cpp e Transcribe in Unsloth, Cohere normalizza l'inference locale e il fine-tuning su dati propri. Il segnale sposta il TCO: il costo marginale dell'hardware dedicato può divergere dal costo per token delle API. Restan...
Cohere ha annunciato l'integrazione dell'encoder visivo di North Micro Vision Instruct in llama.cpp. Tutte le architetture recenti dell'azienda diventano così compatibili con il runtime locale, mentre Cohere Transcribe arriva in Unsloth per il fine-t...
Un test locale con EmbeddingGemma2 mostra la ricerca semantica di testo dentro immagini su una GPU consumer: 3.003 screenshot indicizzati in 510 secondi, vettori a 768 dimensioni e modello Q8 da 330 MB. Ma la qualità dipende molto dalla formulazione ...
Su Hugging Face è comparso il repository unsloth/DeepSeek-V4.1-Flash-1017-GGUF, ma senza alcun documento o annuncio ufficiale del team Unsloth. L'assenza di note tecniche lascia aperti interrogativi su quantization, finestra di contesto e requisiti d...
Un homelab, non un vendor, ha documentato un LLM da 27 miliardi di parametri con 262.000 token di contesto su una singola Radeon RX 9060 XT da 16 GB di VRAM, usando quantization, streaming della cache KV e fix software. Il segnale: il costo d'ingress...
Un homelab con una singola Radeon RX 9060 XT da 16 GB e 24 GB di RAM DDR5 esegue un LLM da 27 miliardi di parametri con 262.000 token di contesto. Il setup usa quantization IQ4_XS, cache KV streaming e registra 42,7 token/s in generazione a 20k di co...
Il progetto open source Openspline aggiunge uno strato avatar alle pipeline vocali esistenti: da un'immagine genera un volto parlante con labiale sincronizzato, eseguito localmente sulla GPU. Il modello lite supera i 90 FPS su una NVIDIA RTX 4090 e s...
La repository di DeepSeek V4.1 Flash compare su Hugging Face senza dettagli tecnici. Per i team che valutano LLM self-hosted, il solo annuncio accende un confronto su architetture efficienti e inference locale. Ma senza parametri, memory footprint o ...
La pubblicazione di Dory1.0-4B-BF16 mostra come la precisione BF16 ridefinisca il deployment locale. Non è solo un modello piccolo: circa 8 GB di pesi spostano l'attenzione su VRAM, TCO e quantization. Per team con workstation e piccoli server, il se...
Gli ingegneri software di Intel hanno rilasciato LLM-Scaler-vLLM PV 1.5, uno stack Docker pensato per semplificare l'inference di LLM su hardware Intel Arc. La novità segnala un investimento software mirato a rendere le GPU discrete dell'azienda più ...
Un test con quattro Radeon AI PRO R9700 reali mostra che il motore affinity gestisce la configurazione multi-GPU senza output degeneri. La quantization a 2,875 bpw tiene 11.008 esperti in VRAM: 79 token/s in greedy, nessun host pool allocato. Il bug ...
NVIDIA descrive Nemotron 3.5 Bolt come modello vision-language per task agentici locali: 74B parametri totali, 9B attivi, quantization nativa a 2 bit e footprint da 24 GB. Supporta testo, immagini, video e contesto fino a 256K token; l'esecuzione avv...
Un ritocco nel compositor di GNOME 52 limita le copie inutili tra le GPU nei portatili ibridi. Meno spreco di banda e batteria, con un effetto indiretto su chi usa la GPU discreta anche per l'inference locale.
Microsoft AI ha sviluppato una versione locale di MAI Code 1.1 Flash, modello di coding ottimizzato con architettura mixture-of-experts: 137 miliardi di parametri totali e 6,8 miliardi attivi. La notizia segnala una spinta verso strumenti di sviluppo...
La prova di un LLM da 24 miliardi di parametri su AMD W7900, con contesto da 128.000 token e circa 95 token al secondo, segnala che l'inference on-premise si consolida anche fuori dall'ecosistema NVIDIA. L'analisi di AI-Radar esplora trade-off, sovra...
Un utente ha condiviso un'esperienza positiva con il modello LiquidAI LFM2.5-24-A2B (24B parametri), evidenziando performance elevate (~95 tps) su GPU AMD W7900. Il modello, che richiede 30GB di VRAM per la quantization Q8 con un contesto di 128k tok...
NVIDIA annuncia per il 15 ottobre Nemotron Bolt 3.5 74B A9B, un MoE da 74 miliardi di parametri (9 miliardi attivi) compresso in 24 GB con quantization a 2 bit e addestramento consapevole della quantization. L'obiettivo dichiarato è bilanciare veloci...
