Modelli molto piccoli, quantization aggressiva e compressione algebrica stanno portando l'inference su CPU, browser, telefoni e microcontrollori come l'ESP32.
Un modello da 0,8B che legge scontrini sul telefono mostra l'inference on-device come opzione concreta per documenti personali. Il progetto intreccia fine-tuning su dati donati, output JSON e una valvola self-hosted via server OpenAI-compatibile. Il ...
Uno sviluppatore ha creato un'app Android gratuita che usa un modello di visione da 0,8 miliardi di parametri per leggere foto di scontrini ed estrarre negozio, data, totale e voci singole in JSON. Il modello, sottoposto a fine-tuning su ricevute, gi...
Un nuovo formato di compressione per LLM usa interi algebrici invece dei soliti formati in virgola mobile o fixed-point. La ricerca mostra accuratezza competitiva con il formato MX a parità di bit per parametro. Per l’inference self-hosted, il vantag...
Un learning rate condiviso può fabbricare vantaggi inesistenti quando si confrontano ricette di fine-tuning con numeri di parametri diversi. Nella compressione SVD della KV-cache, l'healing solo dell'encoder sembrava superiore, ma con learning rate d...
Un preprint su arXiv descrive LittleBit, un approccio di quantization ultra-low-bit basato su fattorizzazione latente e quantization aware training per modelli molto piccoli. La notizia interessa chi gestisce LLM on-premise: non si tratta solo di ris...
Un modello da 19.969 parametri e 81 KB in FP32 genera racconti brevi con obiettivo, problema e risoluzione, girando in CPU. MacroStories abbassa il limite della narrazione coerente e interroga i presupposti dell'inference locale.
EmbeddingGemma 2 mappa testo e immagini in uno spazio vettoriale a 768 dimensioni. Portato su ruNNtime, una libreria TypeScript per WebGPU, consente una ricerca fotografica per descrizione con inference interamente sulla GPU del browser. Niente uploa...
TinyDecide è un modello da 10 milioni di parametri e circa 6 MB, più piccolo di ogni voce nella Decision Index leaderboard. Gira nel browser, in Node.js, Python, Rust e su ESP32. Per l'edge e l'on-premise, il segnale non è la potenza assoluta, ma la ...
