Kolibri-1, GLM 5.3 Flash, Qwen-Image-2.1-Turbo e rilasci compatti MoE/edge stanno ridefinendo l'inference open-weight locale e multimodale.
Nandakishor M. ha rilasciato Vega, modello decisionale tipizzato basato su fisica con 800 milioni di parametri (variante 4B disponibile), supporto per 73.000 token e immagini, e risultati single-shot che superano molti benchmark JEV. L'architettura T...
Due modelli aperti guidano l'Artificial Analysis Cyber Index e superano ogni singolo modello Anthropic. Il sorpasso non è solo classifica: sposta il calcolo del TCO dai canoni API all'infrastruttura on-premise, riapre il confronto su sovranità dei da...
Due modelli open source occupano le prime posizioni dell'Artificial Analysis Cyber Index, davanti a tutti i modelli di Anthropic. GLM 5.3 Flash è in cima; anche Mistral Large 4 si piazza meglio dei rivali chiusi. Per chi valuta deployment on-premise,...
Il nuovo checkpoint accelerato della famiglia Qwen genera e modifica immagini in otto passaggi di denoising. Pesi aperti, pipeline Diffusers pronta e la stessa architettura visiva 7B del modello 2.1. Meno iterazioni significa inference più rapida, ma...
La presenza di Qwen-Image-2.1-Turbo su Hugging Face segnala un'opzione in più per chi vuole generare immagini in locale. La variante Turbo punta a ridurre la latenza, un aspetto critico per deployment self-hosted con VRAM limitata. Il repository dive...
Un preprint su arXiv descrive LittleBit, un approccio di quantization ultra-low-bit basato su fattorizzazione latente e quantization aware training per modelli molto piccoli. La notizia interessa chi gestisce LLM on-premise: non si tratta solo di ris...
La pagina LiquidAI/d1-3B su Hugging Face, segnalata senza dettagli tecnici, proietta il progetto nel segmento dei LLM compatti. Il nome 3B suggerisce un modello pensato per inference locale, self-hosted e vincoli di sovranità dei dati. L'articolo ana...
Un modello da 19.969 parametri e 81 KB in FP32 genera racconti brevi con obiettivo, problema e risoluzione, girando in CPU. MacroStories abbassa il limite della narrazione coerente e interroga i presupposti dell'inference locale.
EmbeddingGemma 2 mappa testo e immagini in uno spazio vettoriale a 768 dimensioni. Portato su ruNNtime, una libreria TypeScript per WebGPU, consente una ricerca fotografica per descrizione con inference interamente sulla GPU del browser. Niente uploa...
TinyDecide è un modello da 10 milioni di parametri e circa 6 MB, più piccolo di ogni voce nella Decision Index leaderboard. Gira nel browser, in Node.js, Python, Rust e su ESP32. Per l'edge e l'on-premise, il segnale non è la potenza assoluta, ma la ...
Blockway pubblica un modello da 32B con architettura ibrida: 54 layer lineari, 17 ad attenzione compressa-sparsa, uno full-attention e memoria n-gram in RAM. Solo 18 layer su 72 mantengono il KV cache, con contesto a 262K e decode quasi stabile tra 1...
Un ricercatore ha addestrato Apex-2, un modello MoE decoder-only da 3,87 miliardi di parametri totali e 1,45 miliardi attivi per token, usando 86,5 miliardi di token e passando da uno a due GH200 con DiLoCo. Il checkpoint base raggiunge in HumanEval+...
Aleph Alpha pubblica la scheda di Kolibri-1: 78 miliardi di parametri totali, 3,46 miliardi attivi e contesto da 1 milione di token con licenza Apache 2.0. L'analisi AI-RADAR mostra come il vincolo si sposti dal calcolo alla memoria e alla cache KV, ...
Aleph Alpha pubblica Kolibri-1, un LLM da 78 miliardi di parametri con 3,46 miliardi attivi per token e contesto fino a 1 milione di token, sotto Apache 2.0. La combinazione tocca tre vincoli dei deployment self-hosted: memoria, calcolo e licenza. Ma...
