Topic / Trend Rising

AI local-first e infrastrutture self-hosted

Un movimento local-first spinge per eseguire l'AI su hardware proprio, con vetrine comunitarie, workstation desktop, GPU modificate e progetti LLM su singola scheda. La scarsità e i prezzi del mercato grigio della RTX 5090 evidenziano i vincoli hardware.

Detected: 2026-09-15 · Updated: 2026-09-15

Articoli Correlati

2026-09-13 LocalLLaMA

Aurora1.0-150M: un LLM da 150 milioni di parametri addestrato su RTX Pro 6000

Un modello da 150 milioni di parametri con prestazioni simili a GPT-2 Small è stato addestrato su una singola RTX Pro 6000 usando 7 miliardi di token. I benchmark pubblicati mostrano PIQA 62,24%, Hellaswag 32,20%, Arc-Easy 44,91%, Arc-Challenge 25,00...

#Hardware #LLM On-Premise #Fine-Tuning
2026-09-13 LocalLLaMA

Claude Code verso il self-hosted: serve un harness, non un miracolo

Un utente abituato a Claude Code chiede quale harness locale open source possa sostituirlo su una RTX 3090 da 24 GB di VRAM. Non cerca un LLM più potente, ma un ambiente agente che replichi il loop di modifica ed esecuzione. La richiesta anticipa tim...

#LLM On-Premise #DevOps
2026-09-13 LocalLLaMA

Qwen3.8 Flash Next genera SVG in locale: il rendering non è neutro

Un test self-hosted con Qwen3.8-Flash-Next-IQ4_XS su llama.cpp produce un SVG complesso da un prompt creativo. L'output convince, ma le anteprime divergono: palme e note musicali spariscono nel browser. Il caso mostra perché la generazione di codice ...

#Hardware #LLM On-Premise #DevOps
2026-09-13 LocalLLaMA

Un LLM denso da 9,4B pronto per il training su una sola scheda

Un ricercatore indipendente ha reso pubblico un modello da circa 9,4 miliardi di parametri, pensato per l'addestramento su una singola scheda. Il progetto include architetture ispirate a Moonshot e una distillazione da Llama 3, con il training già av...

#Hardware #LLM On-Premise #Fine-Tuning
2026-09-09 Phoronix

System76 lancia Thelio Mira AI, desktop multi-GPU per training e inference

System76 ha presentato il Thelio Mira AI, un desktop pensato per carichi multi-GPU: training di modelli, fine-tuning, inference, computer vision e generazione di immagini. La macchina combina CPU AMD Ryzen 9000 con opzioni GPU NVIDIA o AMD e si prest...

#Hardware #LLM On-Premise #Fine-Tuning
2026-09-08 LocalLLaMA

GB per dollaro e bandwidth: la bussola per le GPU LLM locali

Una comparazione condivisa su Reddit usa VRAM per dollaro e bandwidth dichiarata per orientarsi tra le GPU più discusse nei canali LocalLLaMA. Prezzi raccolti con ChatGPT, nuovi o di seconda mano, senza garanzie. Un metodo grezzo ma utile per chi val...

#Hardware #LLM On-Premise #DevOps
← Torna ai Topic