Topic / Trend Rising

Modelli Locali Efficienti e Compressi

Piccoli MoE, modifiche basate su LoRA e strumenti di quantization locale rendono i modelli aperti più pratici su hardware limitato. Mentre modelli da 4B raffinati e LoRA runtime riducono i requisiti hardware, le valutazioni sui modelli a 4 bit rivelano un'affidabilità ancora fragile.

Detected: 2026-11-22 · Updated: 2026-11-22

Articoli Correlati

2026-11-17 • LocalLLaMA

OVH annuncia Olala Mini 7A1B: un LLM open source da 8 GB di VRAM

OVH ha presentato Olala Mini, un LLM open source da 7 miliardi di parametri con 1 miliardo di attivi, capace di girare su GPU da 8 GB e anche su CPU. L'architettura MoE usa solo una frazione del modello per richiesta, raggiunge 160 token/s su RTX A45...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-17 • LocalLLaMA

Maxwell-V1-Flash: 35B totali, 3B attivi e contesto a 256K token

Il team Maxwell ha pubblicato Maxwell-V1-Flash, un LLM MoE con 35 miliardi di parametri totali e 3 miliardi attivi per token. Punta su attenzione block-sparse, contesto fino a 256K token e capacità agentiche, riducendo il costo pratico dell'inference...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-16 • ArXiv cs.AI

Quando i rilevatori di allucinazioni non reggono sui piccoli LLM a 4 bit

Un audit su due LLM open da 3B a 4 bit mostra che i rilevatori di allucinazioni non mantengono la classifica: il ranking si inverte tra i modelli e una baseline lessicale a basso costo è indistinguibile dai metodi di coerenza campionaria. L’etichetta...

#Hardware #LLM On-Premise #DevOps
2026-11-15 • LocalLLaMA

Tre nomi sfocati e una leaderboard: la pista per il prossimo GLM di Z.ai

Un'indagine su Reddit cerca di decifrare tre nomi sfocati su una leaderboard, probabilmente GLM-Nano Pro, Med e Small. Un test con blur gaussiano e RMSE contenuto dà credito alla lettura. Si sommano il track record di AICodeKing sui rilasci GLM e l'a...

#LLM On-Premise #DevOps
← Torna ai Topic