La tendenza a eseguire modelli AI localmente su dispositivi, dai laptop all'hardware edge, sta accelerando. Ciò implica lo sviluppo di modelli compatti, architetture efficienti e hardware specializzato (come le NPU nei pesi) per consentire un'inference più rapida, privata ed economica.
Un modello locale da 27 miliardi di parametri ha rilevato, via MCP, la presenza di Blender e ha scritto codice Python per accelerare un calcolo, senza richiesta esplicita. L’episodio sposta l'attenzione da VRAM e throughput alla governance degli stru...
Un utente racconta che un modello Qwen 3.8 27B in esecuzione locale ha individuato l'accesso a Blender tramite MCP e ha scritto codice Python per velocizzare i calcoli matematici. L'episodio mostra un'autonomia inattesa nei modelli self-hosted, solle...
ISTA DASLab ha rilasciato una build Coder di DeepSeek-V4.1-Flash-1017 con metà degli esperti instradati rimossa e pesi transformer compressi a 1 bit per parametro. Il GGUF occupa 72,1 GB di pesi transformer, contro 138,2 GB della build non potata, e ...
Una preview da 9 miliardi di parametri su Hugging Face mette in luce come i fornitori usino le release anticipate per testare la domanda di LLM self-hosted. Senza benchmark né dettagli hardware, il valore sta nella possibilità di validare pipeline e ...
Un utente di r/LocalLLaMA propone di smettere di inseguire i token/s e costruire benchmark privati sulla qualità, soprattutto tra livelli di quantization. L'idea: mantenere privati i dati di test e condividere solo grafici comparativi. È una reazione...
Il repository Hugging Face JetBrains/Mellum2.1-12B-A2.5B-Thinking-MTP introduce una testa multi-token prediction integrata che accelera il decoding di 1,4–1,8x accettando circa il 90% dei token proposti. vLLM 0.33, transformers 5.20 e llama.cpp la su...
Un ricercatore ha compilato una NPU nei pesi di Qwen 3.5-4B e ha eseguito stories260k senza runtime esterni. QwenPU ridefinisce il confine tra modello e piattaforma: i pesi diventano substrato computazionale, con implicazioni per deployment self-host...
QwenPU compila una NPU nei pesi di Qwen 3.5-4B per eseguire stories260k di Karpathy, senza strumenti esterni e con operazioni bit-exact. Il progetto riapre il confine tra modello e piattaforma di calcolo, con implicazioni per chi gestisce stack self-...
Microsoft dimostra che un modello vision-linguaggio da 4 miliardi di parametri può raggiungere il 66% su OSWorld-Verified, usando il 13% in meno di chiamate e il 25,4% in meno di token dopo RL online. Merito di una pipeline di addestramento in cinque...
Con llama.cpp v0.8.0 arriva la compatibilità con DFlash2 per Qwen3.8-Flash-Next. Su Apple Silicon M5 Max i test con GGUFs quantizzate mostrano un guadagno medio del 17% nel throughput di decodifica rispetto a MTP, con picchi del 39% sui prompt a list...
SenseNova porta su Hugging Face un LLM multimodale con decoder a blocchi riutilizzati e attenzione ibrida. Con 24 layer eseguiti due volte e 56 esecuzioni da 32 layer distinti, punta a carichi agentici e documenti fino a 256K token. L'approccio riduc...
Liquid AI ha presentato LFM3, famiglia di modelli compatti da 1,7–2,2 miliardi di parametri con architettura tri-hybrid e supporto llama.cpp. I decision model saltano la generazione di token e restituiscono risposte in un singolo forward pass. Per ch...
Un modello System One open source gira su un laptop e ottiene risultati vicini a GPT-4 su benchmark medici, con calibrazione ben controllata nei test di conoscenza ma meno affidabile sulle predizioni a livello paziente. Un metodo di ricalibrazione a ...
Liquid AI ha presentato una famiglia di modelli da 1,7 a 2,2 miliardi di parametri, progettati per girare su telefono, laptop e dispositivi edge. Oltre al testo, arrivano versioni multimodali e modelli di decisione che rispondono in un singolo passag...
inclusionAI aggiorna Ling-3.1-flash: 560B parametri totali, 25B attivi per token e finestra di contesto da 1M token. Migliorano i benchmark agentici e scientifici. Il checkpoint base viene aperto alla ricerca. L'articolo analizza le implicazioni per ...
