VectraYX-Nano: un LLM compatto per la cybersecurity in spagnolo

Nel panorama in rapida evoluzione dei Large Language Models (LLM), emerge VectraYX-Nano, un modello da circa 42 milioni di parametri (41.95M per l'esattezza) progettato specificamente per il dominio della cybersecurity. Questo LLM decoder-only è stato addestrato da zero in spagnolo, con un'attenzione particolare alle sfumature linguistiche dell'America Latina, e si distingue per la sua capacità di invocare nativamente strumenti esterni tramite il Model Context Protocol (MCP).

La creazione di modelli specializzati e di dimensioni contenute come VectraYX-Nano risponde a un'esigenza crescente nel settore: quella di disporre di soluzioni AI efficienti, mirate a specifici domini e lingue, che possano essere rilasciate in ambienti con risorse limitate o dove la sovranità dei dati è una priorità assoluta. La sua architettura compatta e la specializzazione lo rendono un candidato interessante per scenari di deployment on-premise o edge, dove i modelli più grandi e generalisti risultano spesso impraticabili per requisiti di hardware e latenza.

Dettagli tecnici e processo di addestramento

L'addestramento di VectraYX-Nano si è basato su un corpus proprietario denominato VectraYX-Sec-ES, composto da 170 milioni di token in spagnolo. Questo corpus è stato strutturato in diverse fasi: 42 milioni di token conversazionali (provenienti da OpenSubtitles-ES e OASST1), 118 milioni di token specifici per la cybersecurity (da NVD, Wikipedia-ES, mirror CVE e blog di sicurezza) e 10 milioni di token dedicati agli strumenti di sicurezza offensiva (da ExploitDB, HackTricks, OWASP). È interessante notare che la creazione di questo corpus è stata realizzata con un costo stimato di circa 25 dollari, utilizzando una pipeline basata su otto macchine virtuali, evidenziando un approccio efficiente alla raccolta dati.

L'architettura del modello include un Transformer decoder con funzionalità avanzate come GQA (Grouped Query Attention), QK-Norm, RMSNorm, SwiGLU, RoPE (Rotary Positional Embeddings) e z-loss, oltre a un BPE (Byte-Pair Encoding) con fallback a 16.384 token. Il processo di addestramento ha impiegato un curriculum con replay e un pre-training continuo, che ha portato a una discesa monotona della loss. Dopo il Supervised Fine-Tuning (SFT) su dataset come OASST-ES, Alpaca-ES, domande e risposte CVE e 6.327 tracce di utilizzo di strumenti, il modello ha raggiunto un gate conversazionale di 0.78+-0.05. Studi specifici hanno inoltre rivelato che la capacità di selezione degli strumenti non è limitata dalla capacità del modello, ma dalla densità del corpus di training.

Implicazioni per il deployment on-premise e la sovranità dei dati

Uno degli aspetti più rilevanti di VectraYX-Nano per i professionisti IT e i decisori tecnici è la sua idoneità al deployment on-premise. Il modello è rilasciato come artefatto GGUF da 81 MB (F16), un formato ottimizzato per l'esecuzione efficiente su hardware comune tramite framework come llama.cpp. Questa caratteristica permette di ottenere tempi di risposta inferiori al secondo (Time To First Token - TTFT) anche su infrastrutture non specializzate, rendendolo accessibile a un'ampia gamma di organizzazioni.

Per le aziende che operano in settori sensibili come la cybersecurity, la finanza o la pubblica amministrazione, la capacità di mantenere i carichi di lavoro LLM all'interno dei propri confini infrastrutturali è cruciale. Il deployment on-premise di modelli come VectraYX-Nano garantisce la piena sovranità dei dati, la conformità normativa (ad esempio, GDPR) e la possibilità di operare in ambienti air-gapped, riducendo i rischi associati all'esposizione di informazioni sensibili a servizi cloud esterni. Questo approccio offre un controllo granulare sull'intera pipeline AI, dalla gestione dei dati all'inference, un fattore determinante per la sicurezza e la compliance.

Prospettive future e disponibilità

VectraYX-Nano si presenta come il primo LLM spagnolo nativo per la cybersecurity con integrazione end-to-end del Model Context Protocol (MCP), segnando un passo significativo nello sviluppo di modelli specializzati. Il team di sviluppo ha reso disponibili la ricetta del corpus, gli script di training, i pesi GGUF e i benchmark B1-B5, promuovendo la trasparenza e la riproducibilità. Questa apertura facilita l'adozione e l'ulteriore sviluppo da parte della comunità, consentendo ad altre organizzazioni di sfruttare o migliorare il modello per le proprie esigenze specifiche.

La disponibilità di un LLM così mirato e ottimizzato per l'esecuzione locale apre nuove opportunità per le aziende che desiderano implementare soluzioni AI avanzate nel campo della cybersecurity senza dipendere da infrastrutture cloud esterne. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per valutare i trade-off tra costi, performance e requisiti di sicurezza, fornendo strumenti utili per decisioni informate. VectraYX-Nano dimostra come la specializzazione e l'efficienza possano convergere per offrire soluzioni AI potenti e controllabili.