Come eseguire Phi-4 14B in locale

Phi-4 è la prova che i dati di training battono il conteggio dei parametri: un 14B addestrato su dati fortemente curati e sintetici che supera modelli molto più grandi nei benchmark di matematica e ragionamento. Gira su una scheda da 12GB a Q4 (e accettabilmente su CPU), il che lo rende il cavallo da lavoro per box edge, serving economico ad alto volume, e come base per classificatori/estrattori fine-tuned. Il suo unico limite duro: contesto da 16K — non è il modello per il RAG su documenti lunghi.

VRAM per livello di quantizzazione

Solo pesi — aggiungi la KV-cache (cresce con contesto e concorrenza) e ~1–2GB di overhead. Formula e matematica della cache nella guida VRAM.

Avvio rapido

Abbastanza piccolo da fine-tunare con QLoRA su una singola GPU consumer — la base classica per distillare il comportamento di un modello grande in un serving di produzione economico. Sotto vLLM, una singola scheda 24GB serve decine di utenti Phi-4 concorrenti.

Prestazioni attese

Valori indicativi single-user (runtime classe llama.cpp/Ollama); il serving multi-utente via vLLM moltiplica il throughput totale 10–20× col batching.

Consigli e insidie

• Occhio al contesto 16K — spezza il RAG in chunk stretti o scegli un modello 128K per i documenti lunghi.
• Come esecutore di tool per agenti dietro un pianificatore più grande, è l'opzione affidabile più economica per chiamata.
• Pienamente permissiva.

FAQ