AI-RADAR.it
AI-RADAR.IT
News & analisi per LLM locali, stack e hardware on-prem.
Topic / Trend Rising

Inference AI on-premise e on-device

L’esecuzione locale e on-device sta diventando un’opzione concreta per carichi sensibili come dati sanitari, scontrini, codice e ricerca privata. Nuovi modelli compatti e applicazioni permettono di mantenere i dati sui propri dispositivi invece di dipendere da API cloud.

Detected: 2026-10-16 · Updated: 2026-10-16

Articoli Correlati

2026-10-13 • LocalLLaMA

Una PS5 jailbroken esegue Qwen 27B a 20 token/s: segnale per il self-hosting

Una PS5 sbloccata esegue Qwen 27B a circa 20 token/s sulla GPU della console. L'esperimento, emerso su Reddit, mostra come hardware consumer con memoria unificata possa sostenere inference self-hosted su modelli da 27 miliardi di parametri, abbassand...

#Hardware #LLM On-Premise #DevOps
2026-10-13 • LocalLLaMA

LiquidAI LFM2.5-24B-A2B: 24B di parametri, 2B attivi per l'on-device

LiquidAI ha presentato LFM2.5-24B-A2B, un modello di ragionamento da 24 miliardi di parametri totali e 2,45 miliardi attivi. Pensato per agenti privati on-device, promette di competere con Qwen3.6-35B-A3B e di girare fino a 1,7 volte più veloce dei M...

#Hardware #DevOps
2026-10-12 • LocalLLaMA

MiniCPM-V 4.7: il primo MoE open source con inference fluida on-device

OpenBMB ha rilasciato MiniCPM-V 4.7, modello multimodale 35B-A3B e primo MoE della serie a girare fluidamente on-device. Con Lookahead Expert Scheduling, quantization layer-wise e speculative sampling, dichiara 13+ token/s su iPhone 17 Pro Max. Suppo...

#Hardware #LLM On-Premise #Fine-Tuning
2026-10-12 • LocalLLaMA

Scontrini on-device: il segnale per chi controlla l'inference locale

Un modello da 0,8B che legge scontrini sul telefono mostra l'inference on-device come opzione concreta per documenti personali. Il progetto intreccia fine-tuning su dati donati, output JSON e una valvola self-hosted via server OpenAI-compatibile. Il ...

2026-10-12 • LocalLLaMA

La scansione scontrini diventa on-device: un modello 0,8B sul telefono

Uno sviluppatore ha creato un'app Android gratuita che usa un modello di visione da 0,8 miliardi di parametri per leggere foto di scontrini ed estrarre negozio, data, totale e voci singole in JSON. Il modello, sottoposto a fine-tuning su ricevute, gi...

#LLM On-Premise #Fine-Tuning #DevOps
2026-10-12 • LocalLLaMA

OpenMed 3.0: AI clinica on-premise che blinda la sovranità dei dati sanitari

OpenMed 3.0 è un toolkit AI open-source (Apache-2.0) per il settore medico, progettato per operare esclusivamente on-premise. La sua filosofia centrale è mantenere i dati dei pazienti sul dispositivo locale, senza alcun ricorso al cloud o API esterne...

#Hardware #LLM On-Premise #DevOps
2026-10-11 • LocalLLaMA

LLM locali su 10-16GB di VRAM: la classifica e i compromessi reali

Una classifica dal basso mette in fila i modelli eseguibili su GPU consumer con 10-16GB di VRAM e 26-32GB di RAM. L'attenzione è su velocità di almeno 10 token/s, coerenza, gestione di prompt complessi e presenza di pattern ripetitivi. Emergono vinco...

#Hardware #LLM On-Premise #DevOps
2026-10-10 • LocalLLaMA

DigUp porta EmbeddingGemma 2 in locale sul Mac

DigUp è un'app Mac gratuita e open source che esegue EmbeddingGemma 2 in locale per cercare nei file per contenuto, non per nome. Il modello GGUF Q8_0 da 865 MB gira su Apple Silicon via llama.cpp e Metal; la ricerca carica solo il text encoder da 25...

#LLM On-Premise #DevOps
← Torna ai Topic