Qwen 3.5 9B come agente locale: test su MacBook Pro M1

Un utente ha condiviso la sua esperienza nell'utilizzo del modello linguistico Qwen 3.5 9B come agente di automazione personale, eseguendolo localmente su un MacBook Pro dotato di chip M1 e 16 GB di memoria unificata.

L'obiettivo era valutare se un modello di queste dimensioni potesse gestire task di automazione reali senza dover ricorrere a servizi cloud.

Configurazione e risultati

La configurazione è stata semplificata grazie all'utilizzo di Ollama, un framework che espone un'API compatibile con OpenAI. L'utente ha potuto quindi indirizzare il suo sistema di automazione esistente verso l'istanza locale di Qwen 3.5 9B senza modifiche al codice.

I risultati sono stati incoraggianti:

  • Richiamo della memoria: il modello ha gestito correttamente la lettura di file di memoria strutturati e l'estrazione del contesto rilevante.
  • Utilizzo di strumenti: Qwen 3.5 9B ha dimostrato di saper invocare gli strumenti appropriati per task agentici semplici.
  • Ragionamento complesso: sono emerse delle limitazioni, prevedibili data la dimensione del modello.

L'utente ha inoltre testato versioni più piccole di Qwen (0.8B e 2B) su un iPhone 17 Pro tramite l'app PocketPal AI, dimostrando la possibilità di eseguire inference LLM completamente offline su dispositivi mobile.

Considerazioni finali

L'esperimento evidenzia come non tutti i task agentici richiedano modelli di grandi dimensioni eseguiti in cloud. Molte operazioni semplici, come la lettura di file, la formattazione di output e il riepilogo di note, possono essere gestite localmente, con benefici in termini di costi e privacy. Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente, come discusso in AI-RADAR /llm-onpremise.