I deployment aziendali e orientati alla privacy scelgono l'AI on-premise su GPU locali o workstation per mantenere i dati sensibili sotto controllo diretto.
Un test con quattro Radeon AI PRO R9700 reali mostra che il motore affinity gestisce la configurazione multi-GPU senza output degeneri. La quantization a 2,875 bpw tiene 11.008 esperti in VRAM: 79 token/s in greedy, nessun host pool allocato. Il bug ...
Microsoft AI ha sviluppato una versione locale di MAI Code 1.1 Flash, modello di coding ottimizzato con architettura mixture-of-experts: 137 miliardi di parametri totali e 6,8 miliardi attivi. La notizia segnala una spinta verso strumenti di sviluppo...
La prova di un LLM da 24 miliardi di parametri su AMD W7900, con contesto da 128.000 token e circa 95 token al secondo, segnala che l'inference on-premise si consolida anche fuori dall'ecosistema NVIDIA. L'analisi di AI-Radar esplora trade-off, sovra...
Un modello da 9 miliardi di parametri, addestrato una sola volta su 2.506 conversazioni generate da 297 procedure, affronta procedure di recupero crediti mai viste. I controlli documentali passano da 67-71% a 93-100%, i controlli grounded restano alt...
Un utente ha condiviso un'esperienza positiva con il modello LiquidAI LFM2.5-24-A2B (24B parametri), evidenziando performance elevate (~95 tps) su GPU AMD W7900. Il modello, che richiede 30GB di VRAM per la quantization Q8 con un contesto di 128k tok...
Intel ha trasformato Crescent Island in una linea commerciale: D-Series. La scheda D270 integra 32 core Xe3P, 256 XMX engine, fino a 480 GB di LPDDR5X e 1,5 TB/s di banda. Le prestazioni dichiarate arrivano a 1,3 PetaFLOPS FP8, con supporto da FP4 a ...
Intel ha annunciato la serie GPU D, erede dei prodotti noti come Crescent Island e pensata per l’inference in ambito enterprise. L’annuncio non include specifiche su VRAM o prestazioni, ma il cambio di denominazione segnala un posizionamento più dire...
Intel svela nome e specifiche della scheda di inference per data center Crescent Island: D-Series e D270 con 1,3 PFLOPS FP8 denso e 1,5 TB/s di banda memoria. Un indizio per chi valuta hardware on-prem per LLM.
Un modello da 0,8B che legge scontrini sul telefono mostra l'inference on-device come opzione concreta per documenti personali. Il progetto intreccia fine-tuning su dati donati, output JSON e una valvola self-hosted via server OpenAI-compatibile. Il ...
Uno sviluppatore ha creato un'app Android gratuita che usa un modello di visione da 0,8 miliardi di parametri per leggere foto di scontrini ed estrarre negozio, data, totale e voci singole in JSON. Il modello, sottoposto a fine-tuning su ricevute, gi...
OpenMed 3.0 è un toolkit AI open-source (Apache-2.0) per il settore medico, progettato per operare esclusivamente on-premise. La sua filosofia centrale è mantenere i dati dei pazienti sul dispositivo locale, senza alcun ricorso al cloud o API esterne...
DigUp è un'app Mac gratuita e open source che esegue EmbeddingGemma 2 in locale per cercare nei file per contenuto, non per nome. Il modello GGUF Q8_0 da 865 MB gira su Apple Silicon via llama.cpp e Metal; la ricerca carica solo il text encoder da 25...
