Nuove architetture compatte, conteggi di parametri ridotti e quantization a bit ultra-bassi stanno portando modelli linguistici e decisionali su CPU, microcontroller e dispositivi con poca memoria. Rilasci come Kolibri-1, TinyDecide, LittleBit e piccole varianti MoE riducono i requisiti di calcolo mantenendo capacità utili.
La collezione JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF mette in fila due scelte tecniche rilevanti per il self-hosted: architettura MoE con pochi parametri attivi e distribuzione in GGUF. Meno calcolo per token, quantization pronta per CPU e GPU c...
Un preprint su arXiv descrive LittleBit, un approccio di quantization ultra-low-bit basato su fattorizzazione latente e quantization aware training per modelli molto piccoli. La notizia interessa chi gestisce LLM on-premise: non si tratta solo di ris...
La pagina LiquidAI/d1-3B su Hugging Face, segnalata senza dettagli tecnici, proietta il progetto nel segmento dei LLM compatti. Il nome 3B suggerisce un modello pensato per inference locale, self-hosted e vincoli di sovranità dei dati. L'articolo ana...
Un modello da 19.969 parametri e 81 KB in FP32 genera racconti brevi con obiettivo, problema e risoluzione, girando in CPU. MacroStories abbassa il limite della narrazione coerente e interroga i presupposti dell'inference locale.
TinyDecide è un modello da 10 milioni di parametri e circa 6 MB, più piccolo di ogni voce nella Decision Index leaderboard. Gira nel browser, in Node.js, Python, Rust e su ESP32. Per l'edge e l'on-premise, il segnale non è la potenza assoluta, ma la ...
Blockway pubblica un modello da 32B con architettura ibrida: 54 layer lineari, 17 ad attenzione compressa-sparsa, uno full-attention e memoria n-gram in RAM. Solo 18 layer su 72 mantengono il KV cache, con contesto a 262K e decode quasi stabile tra 1...
Un ricercatore ha addestrato Apex-2, un modello MoE decoder-only da 3,87 miliardi di parametri totali e 1,45 miliardi attivi per token, usando 86,5 miliardi di token e passando da uno a due GH200 con DiLoCo. Il checkpoint base raggiunge in HumanEval+...
Aleph Alpha pubblica la scheda di Kolibri-1: 78 miliardi di parametri totali, 3,46 miliardi attivi e contesto da 1 milione di token con licenza Apache 2.0. L'analisi AI-RADAR mostra come il vincolo si sposti dal calcolo alla memoria e alla cache KV, ...
Aleph Alpha pubblica Kolibri-1, un LLM da 78 miliardi di parametri con 3,46 miliardi attivi per token e contesto fino a 1 milione di token, sotto Apache 2.0. La combinazione tocca tre vincoli dei deployment self-hosted: memoria, calcolo e licenza. Ma...
Microsoft ha rilasciato un modello da 4 miliardi di parametri derivato da Qwen3.5-4B, addestrato con reinforcement learning su ambienti SWE sintetici per il software engineering agentico. L'approccio senza distillazione comportamentale punta a ridurr...
