GreenLeaf Law Embed Tiny non è l'ennesimo LLM generalista. È un modello di embedding da 0,6 miliardi di parametri costruito per il retrieval in ambito giuridico, e i risultati parlano da soli: 75,11% sul Massive Legal Embedding Benchmark e 64,38% su MTEB nella categoria Law, versione 1. Nella fascia sotto il miliardo di parametri, sono numeri competitivi. Ma il dettaglio che interessa di più ai team che gestiscono infrastrutture non è il benchmark in sé, quanto il modo in cui il modello è stato costruito e può essere servito.

La pipeline di training è divisa in due fasi. Prima si distilla la conoscenza da un teacher più grande in uno studente compatto. Poi si applica un fine-tuning specifico per il dominio, con hard negative mining. Il dataset usato conta 3,4 milioni di coppie query-passaggio, di cui 150.000 campioni curati a mano in diverse giurisdizioni. Questo è il punto che ribalta la prospettiva diffusa: in un dominio verticale come quello legale, la qualità dei dati e la selezione degli esempi negativi possono pesare più della quantità di parametri. Non si tratta di una promessa, ma di una direzione che i numeri di MLEB e MTEB Law rendono concreta.

L'architettura di inference supporta più livelli di quantization: BF16, INT8 e binario. Per chi valuta un deployment self-hosted, la quantization binaria cambia le carte. Riduce l'ingombro del modello e abbassa la pressione su VRAM e TCO, rendendo plausibile l'esecuzione in ambienti con risorse limitate. Non serve immaginare data center dedicati: un edge server o una macchina già presente in azienda possono diventare il punto di servizio per la ricerca giuridica, mantenendo i documenti all'interno del perimetro aziendale.

Questo spostamento ha conseguenze di secondo ordine. I fornitori di soluzioni verticali e gli integratori guadagnano margine di manovra: possono distribuire pacchetti di retrieval giuridico da eseguire on-premise, senza incollare il cliente a un'API cloud esterna. I servizi cloud generalisti, invece, perdono parte della loro presa sulle applicazioni legali, soprattutto dove i vincoli di riservatezza e di residenza dei dati rendono scomodo inviare ogni query fuori dal perimetro. Il modello non elimina il cloud, ma sposta il baricentro della discussione: la domanda non è più solo quanto sia bravo il modello, ma dove possa girare e con quali dati.

Per chi deve confrontare un'impostazione cloud con un deployment on-premise, i trade-off non si riducono al modello. Pesano la manutenzione della pipeline, l'aggiornamento del corpus e il controllo degli accessi. Su AI-RADAR, la sezione /llm-onpremise raccoglie framework analitici per valutare questi aspetti senza scorciatoie.

Il dato dei 150.000 campioni curati manualmente in giurisdizioni diverse segnala un altro cambiamento: il fossato competitivo si sposta dalla dimensione del modello alla proprietà e alla qualità dei dati. Se un team può distillare e fare fine-tuning su un modello compatto e ottenere prestazioni competitive, il vero asset diventa il dataset legale e la capacità di aggiornarlo. Resta aperta la questione se il 64,38% su MTEB Law basti per applicazioni legali ad alto rischio. Ma il messaggio strutturale è già chiaro: il retrieval giuridico indica una direzione sempre più locale e specializzata.