Eseguire un LLM in locale non è più difficile — la domanda è quale strumento si adatta al tuo ruolo. I tre che contano coprono uno spettro da "doppio clic e chatti" a "servi migliaia di richieste al secondo".
I tre strumenti
| Ideale per | Interfaccia | |
|---|---|---|
| LM Studio | Principianti, no-code | GUI desktop |
| Ollama | Sviluppatori, app locali | CLI + REST API |
| vLLM | Produzione, alto carico | Server / API OpenAI-compatibile |
Come scegliere
Non tecnico o in esplorazione: LM Studio. Stai costruendo un'app o vuoi una API locale: Ollama. Servi molti utenti contemporanei o massimizzi il throughput GPU: vLLM o TGI. Il percorso tipico è Ollama in sviluppo → vLLM in produzione.