L'inference LLM auto-ospitata su hardware consumer e prosumer è ora pratica, con modelli come Qwen 3.6 eseguibili a velocità utili grazie a quantizzazioni ottimizzate e strumenti comunitari come Ollama, spostando l'adozione dalle API cloud.
Xiaomi ha caricato su Hugging Face i pesi di MiMo-V2.5-DFlash, un LLM da oltre 300 miliardi di parametri, e un modello MTP separato. Su due GPU da 24 GB con offload su RAM DDR5 raggiunge 8-10 token/s; DFlash promette di raddoppiare la velocità. L'ope...
Due NVIDIA P102-100 da mining, acquistabili per circa 100 dollari, fanno girare Qwen 35B con llama.cpp servendo tre utenti in parallelo a 23 token al secondo. Un dimostratore di come l'inference on-prem possa diventare accessibile grazie al supporto ...
Un esperimento con codice C++ e CUDA su misura porta un modello MoE da 30 miliardi di parametri a superare 50 token al secondo su una GPU consumer con 16 GB di VRAM. Il motore garlic-inference supera llama.cpp del 50%, mostrando margini di ottimizzaz...
Un utente ha scoperto che il modello Qwen3.6 35B-A3B, quantizzato a Q8_0 ed eseguito su CPU, ha generato codice HTML complesso con una qualità inaspettata rispetto alla versione a 4 bit su GPU. Un test che solleva interrogativi sui compromessi tra pr...
Un utente mostra come un sistema basato su APU Strix Halo gestisca un LLM da 35 miliardi di parametri in locale, consumando meno di 150W e con costi energetici irrisori. Un confronto con le GPU discrete illumina nuovi parametri di valutazione per il ...
Il round da 65 milioni di dollari con Benchmark sancisce la maturità del tool open source per eseguire modelli AI sul proprio PC. Un traguardo che riflette un cambiamento strutturale: l'inference locale non è più un hobby, ma una scommessa concreta s...
Dopo aver acquistato una GPU con 32GB di VRAM e testato Gemma 4 31B quantizzato a 5 bit, un utente Reddit scopre che il modello locale surclassa nettamente il ChatGPT gratuito. L'esperienza smaschera il possibile declino del tier libero di OpenAI e o...
Un utente racconta che il modello Qwen 3.6 35B A3B, usato per coding e pianificazione tecnica, funziona senza intoppi se c'è una disciplina di lavoro solida. È il segnale che i LLM on-premise sono maturi e la vera partita ora si gioca sul processo, n...
AMD inizia a spedire il Ryzen AI Halo, un mini PC basato su Strix Halo con stack software completamente open source. Un passo concreto per chi cerca deployment on-premise di LLM senza vincoli proprietari.
Un thread su Reddit invita a condividere i migliori Vision-Language Model eseguiti in locale. Emergono dettagli su hardware, engine di inference e casi d’uso, rivelando come la comunità aggiri l’inaffidabilità dei benchmark con resoconti pratici. Uno...
