Un numero crescente di aziende e sviluppatori sta spostando l'inference AI su hardware locale, spinto da costi, privacy e controllo. Strumenti come Ollama e llama.cpp hanno visto un'adozione massiccia, con miliardi di parametri eseguiti su GPU consumer e persino telefoni.
Il team PrismML ha rilasciato Bonsai 27B, un LLM denso che sfrutta la quantization a 1-bit per comprimersi da 54 a 3,8 GB e gira in locale nel browser con kernel WebGPU su misura. Mantiene il 90% dell’intelligenza. Un passo decisivo per l’AI on-devic...
Un ringraziamento della community per un traguardo simbolico di llama.cpp racconta molto più di un semplice aggiornamento software: è il segnale che l'inference locale su hardware comune è ormai una realtà produttiva, capace di ridefinire strategie d...
Due NVIDIA P102-100 da mining, acquistabili per circa 100 dollari, fanno girare Qwen 35B con llama.cpp servendo tre utenti in parallelo a 23 token al secondo. Un dimostratore di come l'inference on-prem possa diventare accessibile grazie al supporto ...
Il round da 65 milioni di dollari con Benchmark sancisce la maturità del tool open source per eseguire modelli AI sul proprio PC. Un traguardo che riflette un cambiamento strutturale: l'inference locale non è più un hobby, ma una scommessa concreta s...
Dopo aver acquistato una GPU con 32GB di VRAM e testato Gemma 4 31B quantizzato a 5 bit, un utente Reddit scopre che il modello locale surclassa nettamente il ChatGPT gratuito. L'esperienza smaschera il possibile declino del tier libero di OpenAI e o...
