Scansione scontrini, ricerca semantica locale, modelli MoE multimodali e generazione di storie solo CPU mostrano piccoli modelli capaci di compiti reali direttamente su telefoni, Mac e GPU edge.
OpenBMB ha rilasciato MiniCPM-V 4.7, modello multimodale 35B-A3B e primo MoE della serie a girare fluidamente on-device. Con Lookahead Expert Scheduling, quantization layer-wise e speculative sampling, dichiara 13+ token/s su iPhone 17 Pro Max. Suppo...
Un modello da 0,8B che legge scontrini sul telefono mostra l'inference on-device come opzione concreta per documenti personali. Il progetto intreccia fine-tuning su dati donati, output JSON e una valvola self-hosted via server OpenAI-compatibile. Il ...
Uno sviluppatore ha creato un'app Android gratuita che usa un modello di visione da 0,8 miliardi di parametri per leggere foto di scontrini ed estrarre negozio, data, totale e voci singole in JSON. Il modello, sottoposto a fine-tuning su ricevute, gi...
Una classifica dal basso mette in fila i modelli eseguibili su GPU consumer con 10-16GB di VRAM e 26-32GB di RAM. L'attenzione è su velocità di almeno 10 token/s, coerenza, gestione di prompt complessi e presenza di pattern ripetitivi. Emergono vinco...
DigUp è un'app Mac gratuita e open source che esegue EmbeddingGemma 2 in locale per cercare nei file per contenuto, non per nome. Il modello GGUF Q8_0 da 865 MB gira su Apple Silicon via llama.cpp e Metal; la ricerca carica solo il text encoder da 25...
LemonSeed Studio porta l'inference locale di Qwen3.8-27B su iPad Pro usando una GPU AMD esterna in enclosure Thunderbolt. Il motore LSE, identico su iPadOS, macOS e Linux, raggiunge 158,5 token/s su R9700 con decodifica speculativa DFlash2 e 64,4 su ...
Un modello da 19.969 parametri e 81 KB in FP32 genera racconti brevi con obiettivo, problema e risoluzione, girando in CPU. MacroStories abbassa il limite della narrazione coerente e interroga i presupposti dell'inference locale.
EmbeddingGemma 2 mappa testo e immagini in uno spazio vettoriale a 768 dimensioni. Portato su ruNNtime, una libreria TypeScript per WebGPU, consente una ricerca fotografica per descrizione con inference interamente sulla GPU del browser. Niente uploa...
