LLM quantizzati, ternari e ottimizzati per CPU portano capacità da 27 miliardi di parametri su hardware consumer, browser e ambienti edge. L'attenzione si sposta dal numero di parametri a VRAM, sprechi di token ed efficienza a runtime.
Von, un LLM open source da 395 milioni di parametri, gira interamente su CPU con 1-2 GB di memoria e latenze dichiarate tra 25 e 300 ms. Presentato su Reddit come sostituto di JEV, senza ottimizzazione iniziale, riapre il confronto su deployment loca...
Un post su r/ROCm accende i riflettori sul problema dei motori di inference ottimizzati per FP4: veloci sui benchmark, ma spesso inaffidabili sui modelli piccoli e densi. La compressione può funzionare sui Large Language Models con molti parametri, m...
halogen 0.12.0 risolve il degrado a contesto profondo: su Ryzen AI Max+ 395 con 128 GB, la decodifica di Qwen3.8-Flash-Next a un milione di token sale da 27,3 a 38,3 tok/s, il prefill scende da 21,2 a 17,9 minuti. Un dato utile per chi valuta LLM sel...
Annunciato Von, modello open source da 395 milioni di parametri presentato come drop-in replacement per JEV di TypeSafe. Funziona interamente su CPU con 1–2 GB di memoria e una latenza di 25–300 ms; secondo l'autore supera JEV in tutti i benchmark. I...
La domanda di UkisAI su Bonsai 2 Swift non riguarda un semplice aggiornamento. Mette in luce come il TCO degli LLM locali dipenda sempre più dal comportamento a runtime: token sprecati, loop di overthinking e scelte di quantization ridefiniscono l'ef...
Prism-LM ha rilasciato i modelli Bonsai 2 basati su Qwen3.8, valutati con lo stesso metodo usato per il resto del confronto. Il risultato, circa 91,5% su benchmark composito, è un punto di riferimento relativo, non un dato assoluto. La scelta di usar...
Un test one-shot su RTX 5090 confronta Bonsai 2 27B, Gemma 4 12B e Qwen 3.5 9B nella generazione di una pagoda voxel in three.js. Bonsai, in Quantization PQ2_0 da 7,2 GB, produce 106.396 token in 17,5 minuti a 101 token/s e risulta il migliore qualit...
Dopo che i download di Swift Qwen3.8 27B sono passati da 100mila a 150mila in una notte, UkisAI chiede se applicare la stessa cura a Bonsai 2, che nei test mostra loop di overthinking e alto consumo di token. Il team chiede alla community se puntare ...
I documenti di Bonsai mostrano che Ternary Bonsai 2 27B ottiene 52,8 su Terminal-Bench 2.1 e 60,8 su SWE-bench Verified, circa tre quarti del modello full-precision usato come confronto. Ma il nome del concorrente è sbagliato e il claim del 98,2% di ...
Un metodo di compressione per LLM propone un curriculum learning a strati che parte da compiti semplici e arriva a quelli complessi, stabilizzando il trasferimento di conoscenza. Riduce oltre il 50% uso di memoria GPU e ore di training su BERT e GPT-...
Dalla lab AI arriva un segnale: un piccolo LLM potrebbe spostare l'attenzione dalla potenza bruta all'efficienza. Senza dati tecnici pubblici, la notizia vale come indicatore di direzione: modelli compatti hanno senso per chi valuta deployment locale...
Ternary Bonsai 2 è disponibile su Hugging Face: deriva da Qwen3.8-27B, conserva l'architettura hybrid-attention e usa pesi ternari per scendere sotto i 6 GB. Secondo la model card, è 9 volte più piccolo dell'FP16 e mantiene il 98,2% dell'intelligenza...
Il modello open source di UkisAI supera i 100mila download ed è primo tra i fine-tuning su Hugging Face. Penalizza i pattern di overthinking nei piccoli LLM: consumo di token -58,3%, velocità x1,95, senza perdere accuratezza. In arrivo Swift1.5 e Swi...
Nuove ottimizzazioni per singole AMD Radeon R9700 raddoppiano le prestazioni con Qwen3.8 27B in formato NVFP4: fino a 153,1 token/s in decode, 3.619 token/s in prefill e 471 token/s aggregati con otto richieste concorrenti. I repository vLLM MXFP4 ag...
Su Hugging Face è disponibile una demo online di un modello da 230 milioni di parametri ottimizzato per il gioco degli scacchi. La notizia è minima, ma apre un ragionamento sulla specializzazione dei piccoli modelli e sul loro ruolo nei deployment lo...
Un modulo da 34 milioni di parametri corregge il 53,3% degli errori di Gemma 4 E2B senza degradare i benchmark. Il confronto con LoRA mostra il costo della correzione aggressiva: fino al 75% di capacità persa. L'ablazione indica che il vincolo KL e l...
Il metodo Voodoo Quant, pensato per quantization aggressiva su modelli GGUF piccoli, è ora MIT. Invece di analisi statiche, usa gradient descent per scegliere il livello di quantization per-tensor. Chi lavora con LLM locali e poca VRAM può replicare ...
Un modello da 7B in GGUF si colloca tra modelli da 27 e 35 miliardi di parametri. Per chi valuta deployment self-hosted, il caso K2 Horizon 7B cambia il calcolo del TCO e mette al centro la resa per gigabyte di VRAM, non il numero di parametri. Ma se...
Una valutazione sistematica sulla famiglia Whisper mostra che il token merging aumenta l'efficienza computazionale quasi senza perdere accuratezza nella trascrizione multilingue, anche dopo il fine-tuning con DoRA. Il metodo accorcia la sequenza di t...
Il modello IFM K2 Horizon 7B ottiene un punteggio sull'Artificial Analysis Intelligence Index compreso tra Qwen 3.6 27B e Qwen 3.6 35BA3b. Nei primi test locali compila l'ultimo llama.cpp per CUDA senza problemi. Se il risultato regge, un 7B con pres...
Una pull request in llama.cpp introduce il supporto a Maple 20B-A1B, un LLM MoE ternario pensato per l'inference su CPU. La domanda aperta: può ridurre il fabbisogno di VRAM per chi fa self-hosted?
Un modello da 150 milioni di parametri con prestazioni simili a GPT-2 Small è stato addestrato su una singola RTX Pro 6000 usando 7 miliardi di token. I benchmark pubblicati mostrano PIQA 62,24%, Hellaswag 32,20%, Arc-Easy 44,91%, Arc-Challenge 25,00...
Un test self-hosted con Qwen3.8-Flash-Next-IQ4_XS su llama.cpp produce un SVG complesso da un prompt creativo. L'output convince, ma le anteprime divergono: palme e note musicali spariscono nel browser. Il caso mostra perché la generazione di codice ...
