La notizia da sola basterebbe a fare rumore: Ollama, il tool open source che permette di eseguire large language model direttamente sul proprio PC, ha appena chiuso un round da 65 milioni di dollari con la partecipazione di Benchmark e sfiora ormai i 9 milioni di utenti. Ma dietro ai numeri —176mila stelle su GitHub, quasi 17mila fork— c’è molto più di un successo per un singolo progetto. C’è la conferma che l’inference locale non è più un passatempo da smanettoni, ma una traiettoria concreta su cui il mercato inizia a scommettere soldi veri.

Fino a pochi anni fa, far funzionare un LLM sul proprio portatile era un’impresa da esperti: bisognava destreggiarsi tra driver CUDA, vincoli di VRAM e script di compilazione. Ollama ha abbassato quella soglia, incapsulando in un’interfaccia pulita tutto il necessario per scaricare, quantizzare e servire modelli come Llama, Mistral o Phi con pochi comandi. Non è un caso che il progetto abbia accumulato una popolarità simile: rende tangibile un asset strategico —la capacità di elaborazione AI— senza delegarlo a terze parti.

Il finanziamento di Benchmark non finanzia solo un prodotto, ma scommette su un ecosistema in evoluzione. L’ascesa di framework come Ollama segnala che la domanda di AI si sta spostando (anche) verso l’on-premise e l’edge, spinta da tre leve: la crescente disponibilità di modelli aperti ottimizzati per hardware consumer, la pressione normativa sulla residenza dei dati e un calcolo del TCO che, per certi carichi di lavoro, premia l’hardware di proprietà rispetto ai canoni mensili delle API cloud.

Chi vince e chi perde, in questa traiettoria? Sul fronte hardware, il trend favorisce chip con forti capacità di calcolo a bassa potenza: le GPU consumer di NVIDIA restano il riferimento, ma l’ecosistema si allarga ai processori Apple Silicon e alle NPU integrate nei nuovi PC Windows. I produttori di server on-premise vedono aprirsi uno spazio per macchine dedicate all’inference aziendale, lontane dai data center centralizzati. Chi rischia sono i fornitori di API AI che puntavano su un modello di consumo puramente cloud: quando l’alternativa locale diventa semplice ed economica, parte del valore torna nelle mani degli sviluppatori e delle organizzazioni che vogliono controllo diretto.

Sul versante software, il messaggio è altrettanto forte. L’attenzione che Ollama catalizza dà ulteriore impulso alla corsa verso modelli più piccoli ed efficienti. Senza questa spinta dal basso, tecniche come la quantization e il fine-tuning per architetture ridotte resterebbero materia da paper accademici; con una base di utenza di milioni di sviluppatori, diventano invece pilastri di un nuovo stack, dove la domanda guida l’offerta di modelli ottimizzati per l’esecuzione locale.

Certo, eseguire un LLM on-premise non è una bacchetta magica. Le dimensioni dei modelli restano limitate dalla VRAM disponibile, e le prestazioni in token al secondo non competono con cluster da decine di A100. Ma per una vasta gamma di use case —prototipazione, automazione interna, assistenti di codice, generazione di report senza vincoli di latenza stringenti— il bilanciamento fra costo, latenza e privacy pende dalla parte della macchina sotto la scrivania.

La crescita di Ollama arriva in un momento in cui la discussione sulla sovranità dei dati è passata dai convegni alla pratica quotidiana. Mentre le grandi aziende tecniciche rafforzano i loro modelli proprietari, una comunità silenziosa ma numerosa sta costruendo un piano alternativo: non rifiuta il cloud, ma lo integra con un livello locale che garantisce indipendenza operativa e resilienza. I 65 milioni di dollari appena raccolti servono proprio a questo: trasformare un tool amato dai developer in un’infrastruttura affidabile per un’industria che sta imparando a non delegare tutto.