Un'ondata di modelli compatti, quantizzati e adatti alla CPU sta abbassando la barriera per l'inference locale, mentre nuove tecniche di compressione e correzione leggera riducono VRAM e costi di addestramento.
PRQuant combina riorganizzazione dei canali e compensazione residua statica per ridurre l'overhead di inference nella quantization low-bit. Il metodo è training-free, costruisce offline i blocchi contigui di coda ed evita la raccolta dinamica online,...
SupraLabs ha rilasciato Supra2-IMG, un modello text-to-image DiT da 100M parametri addestrato da zero in meno di 10 ore su una singola H100. Genera immagini 256×256 di qualità competitiva e funziona in locale: circa 20 secondi su CPU e 2 su GPU. Un c...
Un post su r/ROCm accende i riflettori sul problema dei motori di inference ottimizzati per FP4: veloci sui benchmark, ma spesso inaffidabili sui modelli piccoli e densi. La compressione può funzionare sui Large Language Models con molti parametri, m...
Un metodo di compressione per LLM propone un curriculum learning a strati che parte da compiti semplici e arriva a quelli complessi, stabilizzando il trasferimento di conoscenza. Riduce oltre il 50% uso di memoria GPU e ore di training su BERT e GPT-...
Dalla lab AI arriva un segnale: un piccolo LLM potrebbe spostare l'attenzione dalla potenza bruta all'efficienza. Senza dati tecnici pubblici, la notizia vale come indicatore di direzione: modelli compatti hanno senso per chi valuta deployment locale...
Ternary Bonsai 2 è disponibile su Hugging Face: deriva da Qwen3.8-27B, conserva l'architettura hybrid-attention e usa pesi ternari per scendere sotto i 6 GB. Secondo la model card, è 9 volte più piccolo dell'FP16 e mantiene il 98,2% dell'intelligenza...
Su Hugging Face è disponibile una demo online di un modello da 230 milioni di parametri ottimizzato per il gioco degli scacchi. La notizia è minima, ma apre un ragionamento sulla specializzazione dei piccoli modelli e sul loro ruolo nei deployment lo...
Un modulo da 34 milioni di parametri corregge il 53,3% degli errori di Gemma 4 E2B senza degradare i benchmark. Il confronto con LoRA mostra il costo della correzione aggressiva: fino al 75% di capacità persa. L'ablazione indica che il vincolo KL e l...
