Un'ondata di modelli aperti quantizzati, distillati e ternari (Qwen3.8, Bonsai 2, K2 Horizon) rende possibile l'inference locale su GPU consumer e browser. L'attenzione si sposta dai parametri grezzi all'efficienza runtime, all'impronta VRAM e ai dettagli della quantization GGUF.
La domanda di UkisAI su Bonsai 2 Swift non riguarda un semplice aggiornamento. Mette in luce come il TCO degli LLM locali dipenda sempre più dal comportamento a runtime: token sprecati, loop di overthinking e scelte di quantization ridefiniscono l'ef...
Prism-LM ha rilasciato i modelli Bonsai 2 basati su Qwen3.8, valutati con lo stesso metodo usato per il resto del confronto. Il risultato, circa 91,5% su benchmark composito, è un punto di riferimento relativo, non un dato assoluto. La scelta di usar...
Un test one-shot su RTX 5090 confronta Bonsai 2 27B, Gemma 4 12B e Qwen 3.5 9B nella generazione di una pagoda voxel in three.js. Bonsai, in Quantization PQ2_0 da 7,2 GB, produce 106.396 token in 17,5 minuti a 101 token/s e risulta il migliore qualit...
Dopo che i download di Swift Qwen3.8 27B sono passati da 100mila a 150mila in una notte, UkisAI chiede se applicare la stessa cura a Bonsai 2, che nei test mostra loop di overthinking e alto consumo di token. Il team chiede alla community se puntare ...
I documenti di Bonsai mostrano che Ternary Bonsai 2 27B ottiene 52,8 su Terminal-Bench 2.1 e 60,8 su SWE-bench Verified, circa tre quarti del modello full-precision usato come confronto. Ma il nome del concorrente è sbagliato e il claim del 98,2% di ...
Dalla lab AI arriva un segnale: un piccolo LLM potrebbe spostare l'attenzione dalla potenza bruta all'efficienza. Senza dati tecnici pubblici, la notizia vale come indicatore di direzione: modelli compatti hanno senso per chi valuta deployment locale...
Ternary Bonsai 2 è disponibile su Hugging Face: deriva da Qwen3.8-27B, conserva l'architettura hybrid-attention e usa pesi ternari per scendere sotto i 6 GB. Secondo la model card, è 9 volte più piccolo dell'FP16 e mantiene il 98,2% dell'intelligenza...
Il modello open source di UkisAI supera i 100mila download ed è primo tra i fine-tuning su Hugging Face. Penalizza i pattern di overthinking nei piccoli LLM: consumo di token -58,3%, velocità x1,95, senza perdere accuratezza. In arrivo Swift1.5 e Swi...
Nuove ottimizzazioni per singole AMD Radeon R9700 raddoppiano le prestazioni con Qwen3.8 27B in formato NVFP4: fino a 153,1 token/s in decode, 3.619 token/s in prefill e 471 token/s aggregati con otto richieste concorrenti. I repository vLLM MXFP4 ag...
Un post su Reddit racchiude in un nome-file l’intero lessico degli LLM open source: base Qwen, 27 miliardi di parametri, etichette 'Uncensored' e formato GGUF. L’analisi parte da questa stringa per mostrare come la nomenclatura comunitaria premi il r...
Il metodo Voodoo Quant, pensato per quantization aggressiva su modelli GGUF piccoli, è ora MIT. Invece di analisi statiche, usa gradient descent per scegliere il livello di quantization per-tensor. Chi lavora con LLM locali e poca VRAM può replicare ...
Un modello da 7B in GGUF si colloca tra modelli da 27 e 35 miliardi di parametri. Per chi valuta deployment self-hosted, il caso K2 Horizon 7B cambia il calcolo del TCO e mette al centro la resa per gigabyte di VRAM, non il numero di parametri. Ma se...
Il thread periodico di r/LocalLLaMA chiede di presentare software open weight, open source e installabile in locale, con descrizioni chiare, confronti e prove di validazione. I progetti commerciali vengono esclusi. Per AI-RADAR è un segnale struttura...
Il modello IFM K2 Horizon 7B ottiene un punteggio sull'Artificial Analysis Intelligence Index compreso tra Qwen 3.6 27B e Qwen 3.6 35BA3b. Nei primi test locali compila l'ultimo llama.cpp per CUDA senza problemi. Se il risultato regge, un 7B con pres...
Una pull request in llama.cpp introduce il supporto a Maple 20B-A1B, un LLM MoE ternario pensato per l'inference su CPU. La domanda aperta: può ridurre il fabbisogno di VRAM per chi fa self-hosted?
Un modello da 150 milioni di parametri con prestazioni simili a GPT-2 Small è stato addestrato su una singola RTX Pro 6000 usando 7 miliardi di token. I benchmark pubblicati mostrano PIQA 62,24%, Hellaswag 32,20%, Arc-Easy 44,91%, Arc-Challenge 25,00...
Un test self-hosted con Qwen3.8-Flash-Next-IQ4_XS su llama.cpp produce un SVG complesso da un prompt creativo. L'output convince, ma le anteprime divergono: palme e note musicali spariscono nel browser. Il caso mostra perché la generazione di codice ...
La scheda modello di bartowski/Qwen3.8-27B-GGUF introduce mappe di layout per-tensore per la compressione GGUF. L'intervento rende esplicito, tensore per tensore, lo schema di quantization usato, aiutando chi gestisce deployment self-hosted a stimare...
