Ricerca e strumenti si concentrano sempre più sulla riduzione dei costi di inference degli LLM tramite modelli densi piccoli, pesi ternari, quantization aggressiva e riduzione dei token. Questi metodi puntano a un minore uso di VRAM e a deployment locali più economici.
Un metodo di compressione per LLM propone un curriculum learning a strati che parte da compiti semplici e arriva a quelli complessi, stabilizzando il trasferimento di conoscenza. Riduce oltre il 50% uso di memoria GPU e ore di training su BERT e GPT-...
Dalla lab AI arriva un segnale: un piccolo LLM potrebbe spostare l'attenzione dalla potenza bruta all'efficienza. Senza dati tecnici pubblici, la notizia vale come indicatore di direzione: modelli compatti hanno senso per chi valuta deployment locale...
Ternary Bonsai 2 è disponibile su Hugging Face: deriva da Qwen3.8-27B, conserva l'architettura hybrid-attention e usa pesi ternari per scendere sotto i 6 GB. Secondo la model card, è 9 volte più piccolo dell'FP16 e mantiene il 98,2% dell'intelligenza...
Il modello open source di UkisAI supera i 100mila download ed è primo tra i fine-tuning su Hugging Face. Penalizza i pattern di overthinking nei piccoli LLM: consumo di token -58,3%, velocità x1,95, senza perdere accuratezza. In arrivo Swift1.5 e Swi...
Su Hugging Face è disponibile una demo online di un modello da 230 milioni di parametri ottimizzato per il gioco degli scacchi. La notizia è minima, ma apre un ragionamento sulla specializzazione dei piccoli modelli e sul loro ruolo nei deployment lo...
Il metodo Voodoo Quant, pensato per quantization aggressiva su modelli GGUF piccoli, è ora MIT. Invece di analisi statiche, usa gradient descent per scegliere il livello di quantization per-tensor. Chi lavora con LLM locali e poca VRAM può replicare ...
Un modello da 7B in GGUF si colloca tra modelli da 27 e 35 miliardi di parametri. Per chi valuta deployment self-hosted, il caso K2 Horizon 7B cambia il calcolo del TCO e mette al centro la resa per gigabyte di VRAM, non il numero di parametri. Ma se...
Una valutazione sistematica sulla famiglia Whisper mostra che il token merging aumenta l'efficienza computazionale quasi senza perdere accuratezza nella trascrizione multilingue, anche dopo il fine-tuning con DoRA. Il metodo accorcia la sequenza di t...
Il modello IFM K2 Horizon 7B ottiene un punteggio sull'Artificial Analysis Intelligence Index compreso tra Qwen 3.6 27B e Qwen 3.6 35BA3b. Nei primi test locali compila l'ultimo llama.cpp per CUDA senza problemi. Se il risultato regge, un 7B con pres...
Una pull request in llama.cpp introduce il supporto a Maple 20B-A1B, un LLM MoE ternario pensato per l'inference su CPU. La domanda aperta: può ridurre il fabbisogno di VRAM per chi fa self-hosted?
Un modello da 150 milioni di parametri con prestazioni simili a GPT-2 Small è stato addestrato su una singola RTX Pro 6000 usando 7 miliardi di token. I benchmark pubblicati mostrano PIQA 62,24%, Hellaswag 32,20%, Arc-Easy 44,91%, Arc-Challenge 25,00...
Un ricercatore indipendente ha preparato un modello denso da 9,4 miliardi di parametri per il training su una singola scheda, con distillazione da Llama 3 e semplificazioni architetturali. Non ci sono benchmark, ma il segnale per l'AI on-premise è ch...
Un ricercatore indipendente ha reso pubblico un modello da circa 9,4 miliardi di parametri, pensato per l'addestramento su una singola scheda. Il progetto include architetture ispirate a Moonshot e una distillazione da Llama 3, con il training già av...
