Uno spostamento crescente verso l'esecuzione di modelli AI in locale su hardware proprietario, spinto da sovranità dei dati, controllo dei costi ed esigenze di latenza. Aziende e sviluppatori adottano il self-hosting, l'inference on-device e i deployment LLM on-premise.
La gestione della memoria nel kernel Linux 7.2 porta un guadagno tra il 30 e il 100% per MongoDB. Il merito è dell’algoritmo MGLRU, più intelligente nel recuperare pagine sotto pressione. Un vantaggio concreto anche per l’infrastruttura di chi esegue...
La società spagnola sostiene che portare l'inference direttamente sui dispositivi sia la strada per contenere la spesa legata all'uso massiccio di servizi cloud, sempre più onerosi per le aziende. Una tesi che rilancia il dibattito su dove convenga e...
L’ultimo position paper di Anthropic delinea una visione per l’IA di frontiera. Ma per molti professionisti la reazione è stata opposta: tornare ai modelli locali. L’articolo scava nelle ragioni – sovranità dei dati, controllo dei costi, latenza – e ...
Un server con due GPU Radeon AI PRO R9700 e 64 GB di VRAM totale mette alla prova Qwen 3.6 27B in quantization Q8 con Multi-Token Prediction. Decode fino a 67 token/s su contesti pieni, prefill oltre 1.500 t/s e prompt caching efficiente: uno spaccat...
Un megathread su Reddit accende il confronto sugli agenti AI eseguibili in locale con modelli open-weight. Tra definizioni traballanti e l’hype del termine ‘Harness’, emerge un cantiere in cui autonomia, controllo hardware e maturità del software def...
