L'esecuzione locale di modelli linguistici di grandi dimensioni tramite strumenti come llama.cpp, Ollama e modelli quantizzati è in piena espansione, con modelli in esecuzione su GPU consumer, telefoni e browser. Questo cambiamento rafforza la sovranità dei dati e il controllo dei costi, ridisegnando le strategie di deployment.
Un utente con hardware limitato sceglie Gemma 4 12B quantizzato per il proprio assistente personale, dimostrando che l'utilità reale spesso batte le dimensioni. La corsa ai LLM più grandi nasconde una verità pragmatica: il modello vincente è quello c...
Dopo oltre un anno di sviluppo arriva la prima release stabile di ExLlamaV3, ricca di ottimizzazioni che vanno dritte al cuore dei colli di bottiglia per chi fa girare LLM su hardware proprio. L'addio a flash-attn e xformers, nuovi kernel per attenti...
Il team PrismML ha rilasciato Bonsai 27B, un LLM denso che sfrutta la quantization a 1-bit per comprimersi da 54 a 3,8 GB e gira in locale nel browser con kernel WebGPU su misura. Mantiene il 90% dell’intelligenza. Un passo decisivo per l’AI on-devic...
Un nuovo modello da 27 miliardi di parametri incarna la tensione fra capacità e sovranità: compatto quanto basta per girare in locale, discende da Qwen e promette di sparigliare le scelte di deployment enterprise.
Un ringraziamento della community per un traguardo simbolico di llama.cpp racconta molto più di un semplice aggiornamento software: è il segnale che l'inference locale su hardware comune è ormai una realtà produttiva, capace di ridefinire strategie d...
Due NVIDIA P102-100 da mining, acquistabili per circa 100 dollari, fanno girare Qwen 35B con llama.cpp servendo tre utenti in parallelo a 23 token al secondo. Un dimostratore di come l'inference on-prem possa diventare accessibile grazie al supporto ...
Il round da 65 milioni di dollari con Benchmark sancisce la maturità del tool open source per eseguire modelli AI sul proprio PC. Un traguardo che riflette un cambiamento strutturale: l'inference locale non è più un hobby, ma una scommessa concreta s...
