Raon-Speech e Raon-SpeechChat: LLM open source per la comprensione e generazione vocale

Raon-Speech e Raon-SpeechChat: LLM open source per la comprensione e generazione vocale

Il panorama dei Large Language Models (LLM) continua a evolversi, con un focus crescente sull'integrazione delle capacità vocali. In questo contesto, sono stati presentati Raon-Speech e Raon-SpeechChat, due modelli che mirano a colmare il divario tra testo e voce, offrendo soluzioni avanzate per la comprensione, la risposta e la generazione del parlato. Questi modelli, caratterizzati da 9 miliardi di parametri, sono stati rilasciati come open source, inclusi i checkpoint del modello, le pipeline di training e inference, e una demo interattiva.

L'approccio open source è particolarmente rilevante per CTO, DevOps lead e architetti infrastrutturali che cercano soluzioni flessibili e controllabili. La possibilità di accedere al codice sorgente e alle pipeline complete consente un deployment self-hosted, fondamentale per le organizzazioni che prioritizzano la sovranità dei dati, la conformità normativa e la gestione autonoma dei costi operativi.

Architettura e Capacità di Raon-Speech

Raon-Speech rappresenta il fondamento di questa iniziativa. È un modello di linguaggio vocale (SpeechLM) progettato per gestire sia l'inglese che il coreano, eccellendo nella comprensione, nella risposta e nella generazione del parlato. La sua peculiarità risiede nella capacità di trasformare un LLM pre-addestrato in uno SpeechLM, mantenendo al contempo solide funzionalità testuali. Questo significa che il modello non solo elabora la voce, ma conserva anche una forte competenza nella gestione del testo.

Il training di Raon-Speech ha coinvolto 1,38 milioni di ore di dataset vocali e testuali altamente curati, sia in inglese che in coreano. Il processo si è articolato in tre fasi distinte: l'allineamento dei moduli vocali, il pre-training end-to-end dello SpeechLM con knowledge distillation, e un post-training basato sull'ottimizzazione delle preferenze multi-task. Attraverso 42 benchmark di parlato e testo in inglese e coreano, Raon-Speech ha dimostrato il profilo complessivo più robusto nelle attività speech-centriche rispetto a otto modelli audio foundation di dimensioni simili, tra cui Qwen2.5-Omni e Fun-Audio-Chat, pur mantenendo elevate prestazioni nella risposta a domande testuali.

Raon-SpeechChat per la Conversazione Full-Duplex

Basandosi sulle solide fondamenta di Raon-Speech, è stato sviluppato Raon-SpeechChat, un'estensione ad alte prestazioni progettata per abilitare conversazioni naturali full-duplex in tempo reale. Questa capacità è cruciale per applicazioni che richiedono interazioni vocali fluide e dinamiche, come assistenti virtuali avanzati o interfacce utente conversazionali.

Raon-SpeechChat è stato addestrato in modo continuo su 119.000 ore di dati di dialogo allineati temporalmente, sia reali che sintetici. Il suo processo di training complementare si è svolto in tre stadi: l'adattamento dell'encoder causale, il pre-training full-duplex e il fine-tuning full-duplex per il controllo della voce e del ruolo. Nei benchmark full-duplex, Raon-SpeechChat ha mostrato i suoi punti di forza più evidenti nei comportamenti sensibili al cambio di turno e alle interruzioni, come quelli coperti da FDB v1.0, rimanendo competitivo nell'intera suite di valutazione full-duplex.

Implicazioni per il Deployment e la Sovranità dei Dati

Il rilascio di Raon-Speech e Raon-SpeechChat come progetti open source offre significative opportunità per le aziende che desiderano integrare capacità avanzate di elaborazione vocale nelle proprie infrastrutture. La disponibilità delle pipeline di training e inference permette alle organizzazioni di personalizzare e deployare questi modelli in ambienti on-premise o ibridi. Questo approccio è particolarmente vantaggioso per settori con stringenti requisiti di conformità e sovranità dei dati, dove la gestione dei dati sensibili all'interno dei propri confini è una priorità assoluta.

La scelta di un deployment self-hosted, facilitata da soluzioni open source come Raon-Speech, consente un controllo granulare sull'hardware, sulla sicurezza e sulla latenza, aspetti critici per carichi di lavoro AI/LLM. Inoltre, può contribuire a ottimizzare il Total Cost of Ownership (TCO) nel lungo periodo, riducendo la dipendenza da servizi cloud di terze parti e i relativi costi operativi variabili. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per valutare i trade-off tra diverse architetture e strategie di implementazione, fornendo una guida neutrale sulle specifiche hardware concrete e i requisiti infrastrutturali.