Modelli minuscoli, MoE e a quantization ultra-low-bit abbassano i requisiti hardware per l'AI on-device e on-premise. La quantization spinta, però, fa emergere problemi di affidabilità come loop ripetitivi e derive nel ragionamento.
La collezione JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF mette in fila due scelte tecniche rilevanti per il self-hosted: architettura MoE con pochi parametri attivi e distribuzione in GGUF. Meno calcolo per token, quantization pronta per CPU e GPU c...
Un preprint su arXiv descrive LittleBit, un approccio di quantization ultra-low-bit basato su fattorizzazione latente e quantization aware training per modelli molto piccoli. La notizia interessa chi gestisce LLM on-premise: non si tratta solo di ris...
La pagina LiquidAI/d1-3B su Hugging Face, segnalata senza dettagli tecnici, proietta il progetto nel segmento dei LLM compatti. Il nome 3B suggerisce un modello pensato per inference locale, self-hosted e vincoli di sovranità dei dati. L'articolo ana...
Un modello da 19.969 parametri e 81 KB in FP32 genera racconti brevi con obiettivo, problema e risoluzione, girando in CPU. MacroStories abbassa il limite della narrazione coerente e interroga i presupposti dell'inference locale.
TinyDecide è un modello da 10 milioni di parametri e circa 6 MB, più piccolo di ogni voce nella Decision Index leaderboard. Gira nel browser, in Node.js, Python, Rust e su ESP32. Per l'edge e l'on-premise, il segnale non è la potenza assoluta, ma la ...
Un task di refactoring su RTX 5070 Ti con Qwen3.8-27B in quantization IQ3_XXS produce una digressione biografica su Lee Kuan Yew nel reasoning. L'episodio mostra come compressione spinta e velocità possano erodere la coerenza interna, rendendo fragil...
Un test sul campo con una quantization IQ3_S mostra che lo stesso identico modello può produrre una risposta coerente in llama.cpp e un loop ripetitivo altrove. Il racconto mette in discussione l'idea che basti scegliere il modello giusto: runtime, s...
