Un movimento crescente sta permettendo ai modelli linguistici di grandi dimensioni di funzionare efficientemente su hardware consumer e dispositivi edge, spinto da strumenti open-source, quantization e esigenze di privacy.
Dallo scanner farmaceutico che gira su uno smartphone alle reti neurali su Arduino a 3 watt: i piccoli modelli AI stanno portando capacità di inference ovunque, senza dipendere da datacenter. Il World Bank spinge questa tendenza, ma dietro c’è un cam...
La community dei maker AI celebra la potenza della NVIDIA RTX 3090: un utente condivide la sua esperienza nell’eseguire il modello Qwen 27B con una finestra di contesto di 200.000 token, utilizzando la configurazione ‘club 3090’ disponibile su GitHub...
Uno sviluppatore ha creato una patch CUDA per llama.cpp che permette a DeepSeek V4 Flash di operare con un contesto di un milione di token su una singola RTX 5090, riducendo la VRAM necessaria da circa 256 GB a soli 31 GB e raggiungendo velocità di p...
Un post di gratitudine su Reddit svela un progresso tecnico: le ultime release di vLLM eliminano i bug di allocazione memoria, permettendo a Qwen2.5 7B di operare con 240.000 token su una RTX 5090, contro i 120.000 precedenti. Un esempio di come l’op...
Il runtime C++/ggml audio.cpp accelera la sintesi vocale di VibeVoice 1.5B di 2,86x rispetto a Python, generando 93 minuti di audio multivoce in 23 minuti su una RTX 5090. Un passo verso stack locali autosufficienti anche per modelli audio long-form.
Un utente Reddit con 64 GB di VRAM condivide la sua esperienza di inference locale con una versione Unsloth di Qwen 3.5 122b-a10b, quantizzato UD-IQ4_NL, finestra di contesto 100.000 token e velocità di circa 30 tok/sec. L’architettura MoE consente d...
NVIDIA ha reso disponibile su Hugging Face il modello Qwen3.6-27B ottimizzato con Quantization NVFP4. Questa mossa sottolinea l'impegno verso l'efficienza nell'inference di Large Language Models, riducendo i requisiti di VRAM e migliorando il through...
La gestione della memoria nel kernel Linux 7.2 porta un guadagno tra il 30 e il 100% per MongoDB. Il merito è dell’algoritmo MGLRU, più intelligente nel recuperare pagine sotto pressione. Un vantaggio concreto anche per l’infrastruttura di chi esegue...
La società spagnola sostiene che portare l'inference direttamente sui dispositivi sia la strada per contenere la spesa legata all'uso massiccio di servizi cloud, sempre più onerosi per le aziende. Una tesi che rilancia il dibattito su dove convenga e...
L’ultimo position paper di Anthropic delinea una visione per l’IA di frontiera. Ma per molti professionisti la reazione è stata opposta: tornare ai modelli locali. L’articolo scava nelle ragioni – sovranità dei dati, controllo dei costi, latenza – e ...
Un server con due GPU Radeon AI PRO R9700 e 64 GB di VRAM totale mette alla prova Qwen 3.6 27B in quantization Q8 con Multi-Token Prediction. Decode fino a 67 token/s su contesti pieni, prefill oltre 1.500 t/s e prompt caching efficiente: uno spaccat...
Un megathread su Reddit accende il confronto sugli agenti AI eseguibili in locale con modelli open-weight. Tra definizioni traballanti e l’hype del termine ‘Harness’, emerge un cantiere in cui autonomia, controllo hardware e maturità del software def...
