Un'ondata crescente di modelli aperti, formati di quantization GGUF/llama.cpp e runtime ottimizzati sta portando il deploy degli LLM su GPU consumer, homelab e hardware on-premise. Il confronto si sposta dai parametri grezzi ai parametri attivi, all'occupazione di VRAM e ai token al secondo.
Migtissera distribuisce in formato GGUF un fine-tuning di Qwen che, secondo i benchmark interni, genera fino a un quarto di token in meno a parità di punteggio. Meno token significa risposte più rapide, sessioni più lunghe e costi di inference ridott...
Con North Micro Vision su llama.cpp e Transcribe in Unsloth, Cohere normalizza l'inference locale e il fine-tuning su dati propri. Il segnale sposta il TCO: il costo marginale dell'hardware dedicato può divergere dal costo per token delle API. Restan...
Cohere ha annunciato l'integrazione dell'encoder visivo di North Micro Vision Instruct in llama.cpp. Tutte le architetture recenti dell'azienda diventano così compatibili con il runtime locale, mentre Cohere Transcribe arriva in Unsloth per il fine-t...
ISTA-DASLab ha aggiornato il modello Qwen3.8-Flash-Next-GSQ-RCO-Coder in formato GGUF. I pesi mantenuti non cambiano rispetto alla base IQ3_S, ma circa il 25% della selezione degli esperti è diversa. Il modello resta English-only: con un budget di es...
Un repository GGUF privo di note su Hugging Face sposta il costo della verifica su chi valuta il deploy. AI-Radar analizza quantization, contesto, VRAM e provenance, e mostra perché l'assenza di documentazione blocca pipeline self-hosted, TCO e sovra...
Un test locale con EmbeddingGemma2 mostra la ricerca semantica di testo dentro immagini su una GPU consumer: 3.003 screenshot indicizzati in 510 secondi, vettori a 768 dimensioni e modello Q8 da 330 MB. Ma la qualità dipende molto dalla formulazione ...
Su Hugging Face è comparso il repository unsloth/DeepSeek-V4.1-Flash-1017-GGUF, ma senza alcun documento o annuncio ufficiale del team Unsloth. L'assenza di note tecniche lascia aperti interrogativi su quantization, finestra di contesto e requisiti d...
Una proposta per llama.cpp introduce i tipi IQ2_K–IQ6_K: stesse dimensioni dei Q-quants, divergenza KL nettamente migliore, prestazioni leggermente inferiori e creazione più lenta. Per chi esegue LLM in locale, il trade-off si sposta: pari occupazion...
Un homelab, non un vendor, ha documentato un LLM da 27 miliardi di parametri con 262.000 token di contesto su una singola Radeon RX 9060 XT da 16 GB di VRAM, usando quantization, streaming della cache KV e fix software. Il segnale: il costo d'ingress...
Un homelab con una singola Radeon RX 9060 XT da 16 GB e 24 GB di RAM DDR5 esegue un LLM da 27 miliardi di parametri con 262.000 token di contesto. Il setup usa quantization IQ4_XS, cache KV streaming e registra 42,7 token/s in generazione a 20k di co...
Il progetto open source Openspline aggiunge uno strato avatar alle pipeline vocali esistenti: da un'immagine genera un volto parlante con labiale sincronizzato, eseguito localmente sulla GPU. Il modello lite supera i 90 FPS su una NVIDIA RTX 4090 e s...
Un esperimento su Reddit mostra che sostituire il PLE quantizzato dei GGUF comuni con il sidecar FP8 completo migliora la qualità percepita di Qwen 3.8 Flash Next, senza impatto sulla velocità. Cresce solo lo spazio su disco.
La repository di DeepSeek V4.1 Flash compare su Hugging Face senza dettagli tecnici. Per i team che valutano LLM self-hosted, il solo annuncio accende un confronto su architetture efficienti e inference locale. Ma senza parametri, memory footprint o ...
La pubblicazione di Dory1.0-4B-BF16 mostra come la precisione BF16 ridefinisca il deployment locale. Non è solo un modello piccolo: circa 8 GB di pesi spostano l'attenzione su VRAM, TCO e quantization. Per team con workstation e piccoli server, il se...
Un modello da 4 miliardi di parametri in precisione BF16 firmato NVIDIA Nemotron Labs appare su Hugging Face. Non è la dimensione a contare, ma il formato: BF16 tiene il modello lontano dalle compressioni spinte e lo colloca nello spazio dei deployme...
Il progetto ORL (On-Policy Residual Learning) promette di accelerare i diffusion LLM senza sacrificare la qualità. Su una singola RTX 5090 il team segnala 2.788 token/s con LLaDA-2.1-mini in NVFP4; il motore di inference dlmrt, open source, sfrutta C...
Un test empirico di tre giorni su GYRO-M, quantization Q2 del modello Qwen Flash Next, segnala stabilità paragonabile al q3 ISTA con dimensioni ridotte. Il progetto nasce da un singolo contributore e mostra tenuta su contesti lunghi, ma evidenzia cri...
Gli ingegneri software di Intel hanno rilasciato LLM-Scaler-vLLM PV 1.5, uno stack Docker pensato per semplificare l'inference di LLM su hardware Intel Arc. La novità segnala un investimento software mirato a rendere le GPU discrete dell'azienda più ...
Un test con quattro Radeon AI PRO R9700 reali mostra che il motore affinity gestisce la configurazione multi-GPU senza output degeneri. La quantization a 2,875 bpw tiene 11.008 esperti in VRAM: 79 token/s in greedy, nessun host pool allocato. Il bug ...
NVIDIA descrive Nemotron 3.5 Bolt come modello vision-language per task agentici locali: 74B parametri totali, 9B attivi, quantization nativa a 2 bit e footprint da 24 GB. Supporta testo, immagini, video e contesto fino a 256K token; l'esecuzione avv...
Microsoft AI ha sviluppato una versione locale di MAI Code 1.1 Flash, modello di coding ottimizzato con architettura mixture-of-experts: 137 miliardi di parametri totali e 6,8 miliardi attivi. La notizia segnala una spinta verso strumenti di sviluppo...
La prova di un LLM da 24 miliardi di parametri su AMD W7900, con contesto da 128.000 token e circa 95 token al secondo, segnala che l'inference on-premise si consolida anche fuori dall'ecosistema NVIDIA. L'analisi di AI-Radar esplora trade-off, sovra...
Un utente ha condiviso un'esperienza positiva con il modello LiquidAI LFM2.5-24-A2B (24B parametri), evidenziando performance elevate (~95 tps) su GPU AMD W7900. Il modello, che richiede 30GB di VRAM per la quantization Q8 con un contesto di 128k tok...
NVIDIA annuncia per il 15 ottobre Nemotron Bolt 3.5 74B A9B, un MoE da 74 miliardi di parametri (9 miliardi attivi) compresso in 24 GB con quantization a 2 bit e addestramento consapevole della quantization. L'obiettivo dichiarato è bilanciare veloci...
Secondo il titolo della fonte, un gruppo di ricercatori Apple ha lavorato a un progetto chiamato Minions per aggregare Mac inattivi in una cloud GPU virtuale. I dettagli tecnici non sono disponibili, ma l'idea tocca un tema centrale: sfruttare hardwa...
Mesa estende il supporto alle NPU e dimostra YOLOX via PyTorch, spostando l'accesso all'accelerazione fuori dai toolchain proprietari. Per edge e on-premise, il driver aperto riduce lock-in e costi di porting, cambiando il calcolo del TCO. AI-Radar l...
Lo stack open source Mesa estende il supporto NPU: il lavoro di Tomeu Vizoso introduce YOLOX via PyTorch, portando modelli di object detection su acceleratori neurali senza SDK proprietari. Il segnale strutturale è un driver condiviso che riduce lock...
Una PS5 sbloccata esegue Qwen 27B a circa 20 token/s sulla GPU della console. L'esperimento, emerso su Reddit, mostra come hardware consumer con memoria unificata possa sostenere inference self-hosted su modelli da 27 miliardi di parametri, abbassand...
LiquidAI ha presentato LFM2.5-24B-A2B, un modello di ragionamento da 24 miliardi di parametri totali e 2,45 miliardi attivi. Pensato per agenti privati on-device, promette di competere con Qwen3.6-35B-A3B e di girare fino a 1,7 volte più veloce dei M...
