Un'ondata di modelli compatti, quantizzati e ottimizzati per CPU come Bonsai 2, K2 Horizon 7B e Von sta portando l'inference LLM su GPU consumer, browser e persino sistemi solo CPU. L'attenzione si sposta dai parametri grezzi all'efficienza dei token, all'uso della VRAM e al comportamento a runtime.
Von, un LLM open source da 395 milioni di parametri, gira interamente su CPU con 1-2 GB di memoria e latenze dichiarate tra 25 e 300 ms. Presentato su Reddit come sostituto di JEV, senza ottimizzazione iniziale, riapre il confronto su deployment loca...
Un post su r/ROCm accende i riflettori sul problema dei motori di inference ottimizzati per FP4: veloci sui benchmark, ma spesso inaffidabili sui modelli piccoli e densi. La compressione può funzionare sui Large Language Models con molti parametri, m...
Annunciato Von, modello open source da 395 milioni di parametri presentato come drop-in replacement per JEV di TypeSafe. Funziona interamente su CPU con 1–2 GB di memoria e una latenza di 25–300 ms; secondo l'autore supera JEV in tutti i benchmark. I...
La domanda di UkisAI su Bonsai 2 Swift non riguarda un semplice aggiornamento. Mette in luce come il TCO degli LLM locali dipenda sempre più dal comportamento a runtime: token sprecati, loop di overthinking e scelte di quantization ridefiniscono l'ef...
Prism-LM ha rilasciato i modelli Bonsai 2 basati su Qwen3.8, valutati con lo stesso metodo usato per il resto del confronto. Il risultato, circa 91,5% su benchmark composito, è un punto di riferimento relativo, non un dato assoluto. La scelta di usar...
Un test one-shot su RTX 5090 confronta Bonsai 2 27B, Gemma 4 12B e Qwen 3.5 9B nella generazione di una pagoda voxel in three.js. Bonsai, in Quantization PQ2_0 da 7,2 GB, produce 106.396 token in 17,5 minuti a 101 token/s e risulta il migliore qualit...
Dopo che i download di Swift Qwen3.8 27B sono passati da 100mila a 150mila in una notte, UkisAI chiede se applicare la stessa cura a Bonsai 2, che nei test mostra loop di overthinking e alto consumo di token. Il team chiede alla community se puntare ...
I documenti di Bonsai mostrano che Ternary Bonsai 2 27B ottiene 52,8 su Terminal-Bench 2.1 e 60,8 su SWE-bench Verified, circa tre quarti del modello full-precision usato come confronto. Ma il nome del concorrente è sbagliato e il claim del 98,2% di ...
Dalla lab AI arriva un segnale: un piccolo LLM potrebbe spostare l'attenzione dalla potenza bruta all'efficienza. Senza dati tecnici pubblici, la notizia vale come indicatore di direzione: modelli compatti hanno senso per chi valuta deployment locale...
Ternary Bonsai 2 è disponibile su Hugging Face: deriva da Qwen3.8-27B, conserva l'architettura hybrid-attention e usa pesi ternari per scendere sotto i 6 GB. Secondo la model card, è 9 volte più piccolo dell'FP16 e mantiene il 98,2% dell'intelligenza...
Il modello open source di UkisAI supera i 100mila download ed è primo tra i fine-tuning su Hugging Face. Penalizza i pattern di overthinking nei piccoli LLM: consumo di token -58,3%, velocità x1,95, senza perdere accuratezza. In arrivo Swift1.5 e Swi...
Su Hugging Face è disponibile una demo online di un modello da 230 milioni di parametri ottimizzato per il gioco degli scacchi. La notizia è minima, ma apre un ragionamento sulla specializzazione dei piccoli modelli e sul loro ruolo nei deployment lo...
Un post su Reddit racchiude in un nome-file l’intero lessico degli LLM open source: base Qwen, 27 miliardi di parametri, etichette 'Uncensored' e formato GGUF. L’analisi parte da questa stringa per mostrare come la nomenclatura comunitaria premi il r...
Il metodo Voodoo Quant, pensato per quantization aggressiva su modelli GGUF piccoli, è ora MIT. Invece di analisi statiche, usa gradient descent per scegliere il livello di quantization per-tensor. Chi lavora con LLM locali e poca VRAM può replicare ...
Un modello da 7B in GGUF si colloca tra modelli da 27 e 35 miliardi di parametri. Per chi valuta deployment self-hosted, il caso K2 Horizon 7B cambia il calcolo del TCO e mette al centro la resa per gigabyte di VRAM, non il numero di parametri. Ma se...
Il modello IFM K2 Horizon 7B ottiene un punteggio sull'Artificial Analysis Intelligence Index compreso tra Qwen 3.6 27B e Qwen 3.6 35BA3b. Nei primi test locali compila l'ultimo llama.cpp per CUDA senza problemi. Se il risultato regge, un 7B con pres...
Una pull request in llama.cpp introduce il supporto a Maple 20B-A1B, un LLM MoE ternario pensato per l'inference su CPU. La domanda aperta: può ridurre il fabbisogno di VRAM per chi fa self-hosted?
