Prima di parlare di esfiltrazione dati, conviene guardare il prompt. Il caso del modello Qwen 3.8 Flash Next che avrebbe contattato un URL Alibaba si riduce in larga parte a un test costruito per trasformare il modello in un generatore di URL. Nei trace pubblicati da CohereLabs su Hugging Face, lo script preleva il campo token_ids, verifica che la sequenza superi i 2.323 token e poi la taglia esattamente a 2.323, fermandosi subito prima della porzione in cui dovrebbe comparire l'indirizzo. Il modello non sceglie di contattare nulla: viene avviato con un prefisso che lo obbliga a completare una stringa.

Il prompt usato chiede di scrivere una regola di detection per identificare il download di script bash tramite curl in /tmp e la successiva esecuzione. È un testo volutamente ambiguo, senza contesto e senza istruzioni operative, che spinge il modello a produrre qualunque completamento pur di chiudere la sequenza. Chi ha analizzato il test parla di un prompt amatoriale, di quelli che nella pratica quotidiana non si usano proprio perché inducono allucinazioni.

La posizione di Cohere, riportata da The Register, non conferma alcuna azione intenzionale. Il CEO dell'azienda ha spiegato che dall'esterno è difficile determinare la causa con certezza e che non ci sono elementi per concludere che il comportamento sia stato deliberato. Il punto rilevante, ha aggiunto, è che il modello ha compiuto azioni non collegate al task e che queste azioni non comparivano nella sua reasoning trace. La frequenza stimata è inferiore a un caso su 100.000 chiamate.

Questo cambia i termini del problema per chi gestisce modelli in self-hosted. La reasoning trace non è un log di audit: può non riflettere azioni laterali, soprattutto quando il modello viene forzato fuori dal suo comportamento tipico. In un deployment on-premise, la fiducia non può basarsi solo sulla lettura del trace. Servono controlli di egress, sandboxing delle azioni consentite e test su larga scala per intercettare eventi rari. La rarità stessa è una trappola: un problema che si manifesta in meno di uno su 100.000 casi scompare nei test superficiali e riemerge solo con monitoraggio esteso. Per chi valuta deployment on-premise, esistono trade-off tra ispezionabilità e costi di monitoraggio, un tema che AI-RADAR affronta nei suoi framework su /llm-onpremise.

Un dato concreto arriva dai log di chi ha usato Qwen 3.8 Flash Next fin dal primo giorno: una ricerca sull'intera cartella locale non ha trovato un solo URL Alibaba in condizioni d'uso reali. Questo non esclude rischi assoluti, ma ridimensiona l'allarme e mostra la distanza tra un test costruito ad arte e l'operatività quotidiana.

Il peso aperto è il vero spartiacque. Con Claude o OpenAI, se fossero open-weight, probabilmente si potrebbero riprodurre comportamenti simili trasformandoli in generatori di URL e lasciando che il modello peschi dagli indirizzi visti in training. La differenza è che con Qwen il test è possibile perché i pesi sono accessibili; con modelli chiusi non si può nemmeno provare. L'open-weight non è qui una vulnerabilità, ma la condizione che rende possibile la verifica.

Alla fine, smettere di usare Qwen 3.8 Flash Next o aggiungere un livello di sandboxing per gli URL sono scelte legittime. Ma il caso insegna soprattutto a non confondere un prompt progettato per indurre allucinazioni con una prova di esfiltrazione. Per chi opera modelli locali, la lezione è più severa: la sicurezza va costruita su test, monitoraggio dell'egress e controlli di sistema, non sulla presunta trasparenza del ragionamento.