Lettura scontrini, ricerca semantica di immagini e inference LLM si spostano su telefoni, Mac, iPad, console e GPU consumer. La tendenza mostra il processamento locale come opzione pratica per documenti privati e carichi self-hosted.
Una PS5 sbloccata esegue Qwen 27B a circa 20 token/s sulla GPU della console. L'esperimento, emerso su Reddit, mostra come hardware consumer con memoria unificata possa sostenere inference self-hosted su modelli da 27 miliardi di parametri, abbassand...
Un modello da 0,8B che legge scontrini sul telefono mostra l'inference on-device come opzione concreta per documenti personali. Il progetto intreccia fine-tuning su dati donati, output JSON e una valvola self-hosted via server OpenAI-compatibile. Il ...
Uno sviluppatore ha creato un'app Android gratuita che usa un modello di visione da 0,8 miliardi di parametri per leggere foto di scontrini ed estrarre negozio, data, totale e voci singole in JSON. Il modello, sottoposto a fine-tuning su ricevute, gi...
Una classifica dal basso mette in fila i modelli eseguibili su GPU consumer con 10-16GB di VRAM e 26-32GB di RAM. L'attenzione è su velocità di almeno 10 token/s, coerenza, gestione di prompt complessi e presenza di pattern ripetitivi. Emergono vinco...
DigUp è un'app Mac gratuita e open source che esegue EmbeddingGemma 2 in locale per cercare nei file per contenuto, non per nome. Il modello GGUF Q8_0 da 865 MB gira su Apple Silicon via llama.cpp e Metal; la ricerca carica solo il text encoder da 25...
LemonSeed Studio porta l'inference locale di Qwen3.8-27B su iPad Pro usando una GPU AMD esterna in enclosure Thunderbolt. Il motore LSE, identico su iPadOS, macOS e Linux, raggiunge 158,5 token/s su R9700 con decodifica speculativa DFlash2 e 64,4 su ...
Quattro modelli decisionali open testati su una RTX 4090 in affitto: Laya, d1, Clef-Flash e Lev hanno letto 9.534 parole e segnalato nomi di centopiedi. Laya è il più veloce con 3,9 ms per parola su llama.cpp, Lev il più accurato sul target ma circa ...
EmbeddingGemma 2 mappa testo e immagini in uno spazio vettoriale a 768 dimensioni. Portato su ruNNtime, una libreria TypeScript per WebGPU, consente una ricerca fotografica per descrizione con inference interamente sulla GPU del browser. Niente uploa...
