DigUp non è un assistente conversazionale, ma un motore di ricerca locale che sfrutta il nuovo modello di embedding multimodale di Google DeepMind. L'app, gratuita e open source con licenza MIT, è pensata per Apple Silicon con macOS 14 o successivo e gira interamente in locale: il modello EmbeddingGemma 2 arriva come GGUF Q8_0 da 865 MB, scaricato una sola volta, e viene eseguito tramite llama.cpp con Metal dentro un'app Swift nativa. Non c'è Python nel percorso di esecuzione, il che riduce la complessità operativa e il footprint della dipendenza.
La ricerca usa solo il text encoder, circa 250 MB, e restituisce risultati in circa un decimo di secondo dopo che si smette di digitare. Il processo di indicizzazione raggiunge un picco sotto i 2 GB di memoria e termina quando ha finito. Per audio e video, DigUp suddivide il contenuto in finestre da 30 secondi e cattura un fotogramma per inquadratura. Questo approccio non conserva ogni istante, ma crea abbastanza punti di aggancio da permettere query come zebra in a video che aprono il clip nel punto esatto, oppure the clause about pets in the lease che mostra la pagina PDF con le parole evidenziate. La stessa ricerca in bengalese o arabo trova la foto del cane in spiaggia: il modello allinea testo e immagini in uno spazio condiviso, quindi la lingua della query non è un filtro rigido.
C'è poi la ricerca sul codice: con la modalità attiva, una query come code: retry with backoff apre direttamente la funzione nell'editor. È un dettaglio che dice molto sulla direzione: non si indicizza solo il contenuto documentale, ma anche il comportamento del codice, un pattern che nei sistemi on-premise può ridurre la dipendenza da strumenti separati di code search.
Il vincolo principale non è il download del modello, ma la costruzione dell'indice. Il fatto che l'helper esca al termine dell'indicizzazione e che la ricerca carichi solo l'encoder segnala un design orientato a mantenere bassa la pressione su RAM e storage. Per chi valuta deployment on-premise, è un promemoria concreto: con un GGUF quantizzato in Q8 e un runtime che usa Metal sul silicio Apple, un indice multimodale locale può restare dentro i limiti di un singolo portatile. Non serve un server dedicato né un cluster. Questo cambia gli incentivi rispetto ai servizi cloud di ricerca: i file restano sulla macchina, l'app va online solo per scaricare il modello e per un controllo aggiornamenti che si può disattivare. La sovranità dei dati smette di essere un requisito astratto e diventa un attributo del deployment. Per chi valuta deployment on-premise, AI-RADAR offre su /llm-onpremise framework analitici per confrontare questi trade-off, senza suggerire una soluzione unica.
Certo, Q8_0 non è FP16: la quantization introduce un'approssimazione nei pesi. Ma per il retrieval di contenuti personali, il vantaggio sta nel poter eseguire il modello senza saturare la memoria. Il progetto non promette di sostituire un database vettoriale distribuito; dimostra che una pipeline di embedding multimodale può vivere in un'app nativa, firmata e notarizzata, con un costo di ingresso minimo. È un segnale strutturale: la ricerca locale basata su embedding sta uscendo dalla fase dei prototipi e comincia ad avere senso anche per chi non vuole spostare metadati e contenuti fuori dal proprio dispositivo.
💬 Commenti (0)
🔒 Accedi o registrati per commentare gli articoli.
Nessun commento ancora. Sii il primo a commentare!