La tendenza a eseguire modelli AI direttamente sui dispositivi degli utenti (laptop, telefoni, edge) sta accelerando, spinta da modelli compatti, tecniche di quantization e architetture specializzate. Questo spostamento mira a ridurre i costi del cloud, migliorare la privacy e consentire decisioni immediate, nonostante le sfide nell'integrazione del runtime e nelle prestazioni degli agenti.
Liquid AI ha presentato LFM3, famiglia di modelli compatti da 1,7–2,2 miliardi di parametri con architettura tri-hybrid e supporto llama.cpp. I decision model saltano la generazione di token e restituiscono risposte in un singolo forward pass. Per ch...
Un modello System One open source gira su un laptop e ottiene risultati vicini a GPT-4 su benchmark medici, con calibrazione ben controllata nei test di conoscenza ma meno affidabile sulle predizioni a livello paziente. Un metodo di ricalibrazione a ...
Liquid AI ha presentato una famiglia di modelli da 1,7 a 2,2 miliardi di parametri, progettati per girare su telefono, laptop e dispositivi edge. Oltre al testo, arrivano versioni multimodali e modelli di decisione che rispondono in un singolo passag...
La startup svedese Strawberry esce dalla beta con un browser enterprise che integra assistenti AI. Gli agenti girano sul dispositivo dell'utente, non su server cloud, e questo può rispondere alle richieste di sovranità dei dati. La società ha chiuso ...
Il rilascio dei quanti GGUF di DeepSeek-V4.1-Flash-1017 a cura di ISTA-DASLab non è solo una novità di quantization. Mette in luce il vero freno del deployment locale: l'integrazione con i runtime. Con llama.cpp ancora senza supporto ufficiale e il r...
ISTA DASLab ha pubblicato tre GGUF di DeepSeek-V4.1-Flash-1017 con quantization GSQ e RCO, bit-width da 1,75 a 2,25 sui 551,9 miliardi di parametri backbone. Il file Engram condiviso da 110,6 GB resta mappato su disco. Il modello gira su una singola ...
Un esperimento con un LLM GGUF Q4 in WebGL2 si infrange sulla tokenizzazione, non sull'algebra lineare. Il consiglio di clonare llama.cpp segnala che nei deployment locali e self-hosted il differenziale non sta nel motore, ma nell'integrazione con da...
ISTA-DASLab ha pubblicato i quanti GGUF di DeepSeek-V4.1-Flash-1017 con l’approccio GSQ-RCO. Il modello, però, non gira su llama.cpp: i pull request per il supporto all’architettura sono ancora aperti. La scheda tecnica cita Strata, ma il runtime ori...
Uno sviluppatore su Reddit racconta il tentativo di costruire un motore di inference per LLM nel browser con WebGL2 e GLSL, usando un modello GGUF in quantization Q4. La tokenizzazione si rivela un inferno di debug. Il consiglio: clonare llama.cpp. A...
L'economia degli abbonamenti dei grandi LLM è sotto pressione, mentre modelli specializzati da pochi miliardi di parametri risolvono compiti come OCR e segmentazione. La tesi: il futuro è locale, con modelli più piccoli, addestramento più semplice e ...
Un utente ha provato LFM2.5-24-A2B in locale. Con llamaampere raggiunge 130 token/s su una RTX A4500, ma va in loop e sbaglia le richieste più semplici. Con LM Studio la chat si stabilizza, ma nel task su Hermes per un plugin Garnet produce codice ro...
Kitten-TTS 2 introduce la quantization ternaria a 1,58 bit in un modello da 1,7 miliardi di parametri che gira in tempo reale su CPU. Il self-hosting diventa realistico senza GPU, spostando il TCO dalla VRAM alla qualità del software di esecuzione. P...
KittenML ha rilasciato codice e pesi di Kitten-TTS 2, un modello TTS con quantization ternaria a 1,58 bit e 1,7 miliardi di parametri. Gira in tempo reale su CPU, fa voice cloning zero-shot da meno di cinque secondi, supporta oltre 20 lingue e consen...
Un progetto open source (Apache-2.0) propone un front-end vocale on-device per assistenti locali: cinque modelli per wake word da testo, voiceprint, separazione della voce e VAD personale. L'engine Rust gira in browser, Python e Android; i modelli oc...
Un sistema di inference combina quantization, speculative decoding e offloading degli esperti per accelerare i modelli MoE su singola GPU. Il modello draft quantizzato resta on-device e anticipa con precisione gli esperti da caricare, riducendo il co...
KRAFTON AI pubblica Raon-1 mini preview, un LLM MoE da 30B con 4B attivi, orientato a conversazione coreana e task agentici. Con licenza Apache 2.0, speculative decoding e quantization NVFP4/MXFP8, l'inference può girare su una singola NVIDIA RTX 509...
