Cosa ti serve
- Windows 10/11, ~20GB di spazio libero su disco
- Una GPU NVIDIA con 8GB+ di VRAM (consigliata — funziona anche su CPU, solo più lentamente)
- Docker Desktop (solo per Open WebUI al passo 5 — i passi 1–4 non richiedono altro)
Passo 1 — Verifica la GPU (1 min)
Apri un terminale (Win+X → Terminale) ed esegui il comando qui sopra. Dovresti vedere nome della GPU, versione del driver e memoria (es. "24576MiB"). Annota la VRAM — decide il tuo modello al passo 3. Se il comando non viene trovato, installa prima il driver NVIDIA corrente da nvidia.com e riavvia.
Passo 2 — Installa Ollama (2 min)
Chiudi e riapri il terminale, poi verifica:
Ollama ora gira come servizio in background e parte con Windows. Salva i modelli nel profilo utente (.ollama\models) — se il disco C: è piccolo, imposta la variabile d'ambiente OLLAMA_MODELS su un altro disco prima di scaricare modelli.
Passo 3 — Scarica un modello adatto alla tua VRAM (5 min)
| VRAM | Comando | Perché |
|---|---|---|
| 8GB | ollama run llama3.1:8b | tuttofare solido che entra comodamente |
| 12GB | ollama run phi4 | il piccolo gigante — forte ragionamento per taglia |
| 16GB | ollama run mistral-small3.1 | la migliore qualità di modello che entra in questa fascia |
| 24GB | ollama run qwen3.6:27b | il punto ideale della classe 24GB (forte anche in italiano) |
La prima esecuzione scarica il modello (4–16GB), poi ti porta in una chat nel terminale. Scrivi qualcosa; mentre risponde, esegui nvidia-smi in un secondo terminale — l'uso di VRAM deve essere salito. Questo conferma l'inferenza su GPU. Dettagli modello per modello (quant, velocità, consigli): le nostre guide ai modelli locali.
Passo 4 — Correggi la finestra di contesto (3 min, non saltarlo)
Ollama usa di default un contesto piccolo (num_ctx), troncando silenziosamente chat lunghe e documenti grandi — la causa n°1 di "il modello ha dimenticato cosa ho detto". Crea un file chiamato Modelfile con:
(Sostituisci la riga FROM col tuo modello del passo 3.) Più contesto costa VRAM — se la generazione rallenta drasticamente o va in offload su CPU, torna a 8192.
Passo 5 — Open WebUI: l'interfaccia chat (5 min)
Installa Docker Desktop (docker.com, impostazioni di default, backend WSL2), poi esegui:
Apri http://localhost:3000 — il primo account creato è l'amministratore. Scegli il modello dal menu a tendina e chatta. Tutto (account, cronologia, impostazioni) persiste nel volume Docker open-webui.
Passo 6 — Documenti (RAG) e accesso LAN (4 min)
- Q&A sui documenti: in Open WebUI vai su Workspace → Knowledge, carica PDF/documenti, poi richiamali in chat con #. Il modello risponde dai tuoi documenti con citazioni.
- Condividi in rete: Open WebUI è già raggiungibile su http://IP-DEL-TUO-PC:3000 dagli altri dispositivi — consenti la porta 3000 nel firewall di Windows. Famiglia/colleghi hanno account sulla TUA macchina; nulla va nel cloud.
Risoluzione dei problemi
- La generazione è lentissima — probabilmente il modello non entra nella tua VRAM: esegui "ollama ps" — deve dire 100% GPU. Altrimenti scegli un modello più piccolo dalla tabella del passo 3 o riduci num_ctx.
- Open WebUI non mostra modelli — il container non raggiunge Ollama. Verifica che OLLAMA_BASE_URL usi host.docker.internal esattamente come al passo 5, e che "ollama list" funzioni nel terminale.
- Porta 3000 già in uso — cambia la mappatura in -p 3001:8080 e apri localhost:3001.
- Download interrotto — riesegui lo stesso comando ollama run; i download riprendono.