Cresce l'ondata di modelli compatti, inference nel browser e agenti on-device per telefoni, laptop e dispositivi edge. La spinta arriva da controllo dei costi, privacy dei dati e indipendenza dal cloud.
Liquid AI ha presentato LFM3, famiglia di modelli compatti da 1,7–2,2 miliardi di parametri con architettura tri-hybrid e supporto llama.cpp. I decision model saltano la generazione di token e restituiscono risposte in un singolo forward pass. Per ch...
Un modello System One open source gira su un laptop e ottiene risultati vicini a GPT-4 su benchmark medici, con calibrazione ben controllata nei test di conoscenza ma meno affidabile sulle predizioni a livello paziente. Un metodo di ricalibrazione a ...
Liquid AI ha presentato una famiglia di modelli da 1,7 a 2,2 miliardi di parametri, progettati per girare su telefono, laptop e dispositivi edge. Oltre al testo, arrivano versioni multimodali e modelli di decisione che rispondono in un singolo passag...
La startup svedese Strawberry esce dalla beta con un browser enterprise che integra assistenti AI. Gli agenti girano sul dispositivo dell'utente, non su server cloud, e questo può rispondere alle richieste di sovranità dei dati. La società ha chiuso ...
CrowdGPT punta ad addestrare un LLM da un miliardo di parametri in modo collaborativo, usando i PC dei partecipanti al posto dei datacenter e pubblicando il 100% dei dati e dei pesi. Lo sviluppatore chiede feedback sugli incentivi, dal tempo GPU ai c...
Un progetto indipendente ha pubblicato una versione preliminare di un modello da 4 miliardi di parametri per coding e generazione di scene 3D, come fine-tune di Qwen3.5-4B. I checkpoint GGUF Q4_K_M e Q8_0 sono già su Hugging Face, mentre il training ...
Un esperimento con un LLM GGUF Q4 in WebGL2 si infrange sulla tokenizzazione, non sull'algebra lineare. Il consiglio di clonare llama.cpp segnala che nei deployment locali e self-hosted il differenziale non sta nel motore, ma nell'integrazione con da...
Uno sviluppatore su Reddit racconta il tentativo di costruire un motore di inference per LLM nel browser con WebGL2 e GLSL, usando un modello GGUF in quantization Q4. La tokenizzazione si rivela un inferno di debug. Il consiglio: clonare llama.cpp. A...
L'economia degli abbonamenti dei grandi LLM è sotto pressione, mentre modelli specializzati da pochi miliardi di parametri risolvono compiti come OCR e segmentazione. La tesi: il futuro è locale, con modelli più piccoli, addestramento più semplice e ...
