Vendor e community stanno spostando l'inference verso hardware locale: supporto llama.cpp, file GGUF a basso bit e deployment solo CPU o su singola GPU. Disponibilità hardware, documentazione e costo totale di possesso diventano centrali nelle decisioni sull'AI on-premise.
L'economia degli abbonamenti dei grandi LLM è sotto pressione, mentre modelli specializzati da pochi miliardi di parametri risolvono compiti come OCR e segmentazione. La tesi: il futuro è locale, con modelli più piccoli, addestramento più semplice e ...
Un centro riparazioni ha ricevuto in due giorni otto schede GeForce RTX 5090 e RTX 4090 con connettori a 16 pin fusi. Il caso segnala un punto di debolezza strutturale nell'alimentazione delle GPU di fascia alta, rilevante per chi le usa in workstati...
Un utente ha provato LFM2.5-24-A2B in locale. Con llamaampere raggiunge 130 token/s su una RTX A4500, ma va in loop e sbaglia le richieste più semplici. Con LM Studio la chat si stabilizza, ma nel task su Hermes per un plugin Garnet produce codice ro...
Le indiscrezioni su ordini cinesi di GPU Nvidia per oltre 35 miliardi di dollari segnalano una riallocazione del canale hardware. Per chi esegue LLM in locale, l'effetto non è solo prezzo: è disponibilità, potere negoziale e sovranità dei dati. L'ana...
ByteDance, Alibaba e Tencent avrebbero ordinato oltre 35 miliardi di dollari in chip Nvidia. Una voce parla di 3 milioni di RTX 5500 Pro a 11,4 dollari l'una da destinare a inference e video generativo. Se confermata, l'operazione assorbirebbe capaci...
Un utente documenta il salto da 9 a 48 token/s passando a STRATA su CachyOS con driver NVIDIA pronti, usando Qwen 3.8 Flash Next a 3 bit. La GPU da 8 GB regge 32k di contesto e arriva a 42k, restando a 130 MB dal crash. Il caso mostra pregi e limiti ...
Con North Micro Vision su llama.cpp e Transcribe in Unsloth, Cohere normalizza l'inference locale e il fine-tuning su dati propri. Il segnale sposta il TCO: il costo marginale dell'hardware dedicato può divergere dal costo per token delle API. Restan...
Cohere ha annunciato l'integrazione dell'encoder visivo di North Micro Vision Instruct in llama.cpp. Tutte le architetture recenti dell'azienda diventano così compatibili con il runtime locale, mentre Cohere Transcribe arriva in Unsloth per il fine-t...
Un repository GGUF privo di note su Hugging Face sposta il costo della verifica su chi valuta il deploy. AI-Radar analizza quantization, contesto, VRAM e provenance, e mostra perché l'assenza di documentazione blocca pipeline self-hosted, TCO e sovra...
Un post su Reddit segnala la sparizione di due bancali di schede ZOTAC RTX 5090, valore 470.000 dollari, da un aeroporto brasiliano. L'episodio mostra come la filiera fisica delle GPU sia ormai un anello critico per chi progetta inference self-hosted...
