Modelli compatti e agenti stanno portando l'inference direttamente su laptop, smartphone e dispositivi edge, riducendo la dipendenza dal cloud e l'overhead di generazione dei token. Le recenti novità di Liquid AI, Microsoft e Strawberry evidenziano la spinta verso un'AI locale, reattiva e attenta alla privacy.
Un test su M4 Max con Qwen3.8 27B e contesto a 164k token mostra che cache e KV costano quanto i pesi. Il vecchio consiglio sui 64 GB va rivisto.
Microsoft dimostra che un modello vision-linguaggio da 4 miliardi di parametri può raggiungere il 66% su OSWorld-Verified, usando il 13% in meno di chiamate e il 25,4% in meno di token dopo RL online. Merito di una pipeline di addestramento in cinque...
Liquid AI ha presentato LFM3, famiglia di modelli compatti da 1,7–2,2 miliardi di parametri con architettura tri-hybrid e supporto llama.cpp. I decision model saltano la generazione di token e restituiscono risposte in un singolo forward pass. Per ch...
Un modello System One open source gira su un laptop e ottiene risultati vicini a GPT-4 su benchmark medici, con calibrazione ben controllata nei test di conoscenza ma meno affidabile sulle predizioni a livello paziente. Un metodo di ricalibrazione a ...
Uno studio su sette modelli e tre benchmark mostra che le skill degli agenti LLM non sono universali: ciò che migliora un modello forte può degradare uno debole. Nell'86% dei fallimenti dei modelli deboli il requisito violato era già nella skill. L'a...
Liquid AI ha presentato una famiglia di modelli da 1,7 a 2,2 miliardi di parametri, progettati per girare su telefono, laptop e dispositivi edge. Oltre al testo, arrivano versioni multimodali e modelli di decisione che rispondono in un singolo passag...
La startup svedese Strawberry esce dalla beta con un browser enterprise che integra assistenti AI. Gli agenti girano sul dispositivo dell'utente, non su server cloud, e questo può rispondere alle richieste di sovranità dei dati. La società ha chiuso ...
