Modelli molto piccoli e sparsi stanno portando l'AI in ambienti solo CPU, browser, edge e mini PC. Gli esempi vanno dalla narrazione con 19.969 parametri e modelli decisionali da 10M fino a MoE ibridi da 32B e all'architettura 78B totali/3,46B attivi di Kolibri-1.
La pagina LiquidAI/d1-3B su Hugging Face, segnalata senza dettagli tecnici, proietta il progetto nel segmento dei LLM compatti. Il nome 3B suggerisce un modello pensato per inference locale, self-hosted e vincoli di sovranità dei dati. L'articolo ana...
Un modello da 19.969 parametri e 81 KB in FP32 genera racconti brevi con obiettivo, problema e risoluzione, girando in CPU. MacroStories abbassa il limite della narrazione coerente e interroga i presupposti dell'inference locale.
EmbeddingGemma 2 mappa testo e immagini in uno spazio vettoriale a 768 dimensioni. Portato su ruNNtime, una libreria TypeScript per WebGPU, consente una ricerca fotografica per descrizione con inference interamente sulla GPU del browser. Niente uploa...
TinyDecide è un modello da 10 milioni di parametri e circa 6 MB, più piccolo di ogni voce nella Decision Index leaderboard. Gira nel browser, in Node.js, Python, Rust e su ESP32. Per l'edge e l'on-premise, il segnale non è la potenza assoluta, ma la ...
Blockway pubblica un modello da 32B con architettura ibrida: 54 layer lineari, 17 ad attenzione compressa-sparsa, uno full-attention e memoria n-gram in RAM. Solo 18 layer su 72 mantengono il KV cache, con contesto a 262K e decode quasi stabile tra 1...
Un ricercatore ha addestrato Apex-2, un modello MoE decoder-only da 3,87 miliardi di parametri totali e 1,45 miliardi attivi per token, usando 86,5 miliardi di token e passando da uno a due GH200 con DiLoCo. Il checkpoint base raggiunge in HumanEval+...
Aleph Alpha pubblica la scheda di Kolibri-1: 78 miliardi di parametri totali, 3,46 miliardi attivi e contesto da 1 milione di token con licenza Apache 2.0. L'analisi AI-RADAR mostra come il vincolo si sposti dal calcolo alla memoria e alla cache KV, ...
Il progetto Kyojin porta due modelli MoE da circa 300 miliardi di parametri su un singolo mini PC con AMD Strix Halo e 128 GB di memoria. Misurati su Ryzen AI Max+ 395, GLM-5.3-Flash e MiMo-V2.6-Flash raggiungono prefill fino a 650 token/s e decode f...
Aleph Alpha pubblica Kolibri-1, un LLM da 78 miliardi di parametri con 3,46 miliardi attivi per token e contesto fino a 1 milione di token, sotto Apache 2.0. La combinazione tocca tre vincoli dei deployment self-hosted: memoria, calcolo e licenza. Ma...
Microsoft ha rilasciato un modello da 4 miliardi di parametri derivato da Qwen3.5-4B, addestrato con reinforcement learning su ambienti SWE sintetici per il software engineering agentico. L'approccio senza distillazione comportamentale punta a ridurr...
