L’high-school developer Owen Song ha rilasciato Inflect v2, due modelli neurali di text-to-speech che occupano meno spazio di una foto e girano interamente sulla CPU del portatile. Non si tratta di esperimenti accademici ma di sistemi completi: elaborazione del testo, predizione temporale, generazione vocale e decodifica della forma d’onda sono dentro un unico checkpoint. Nessun vocoder esterno, nessuna chiamata a server remoti.

Inflect-Nano-v2 pesa 3,96 milioni di parametri (15,97 MB in FP32), Micro-v2 arriva a 9,36 milioni (37,53 MB). Entrambi producono audio a 24 kHz in tempo reale accelerato: Nano viaggia a oltre 10× la velocità reale su CPU, Micro a circa 6×. In un confronto alla cieca organizzato dalla comunità, Micro e Nano si sono piazzati al secondo e terzo posto tra le voci testate, dietro un sistema commerciale e davanti a modelli ben più grandi.

Ciò che rende questa uscita una piccola pietra miliare per chi segue il deployment locale è la combinazione di parametri contati e assenza di dipendenze esterne. Fino a pochi mesi fa, un text-to-speech neurale che suonasse “genuinamente utile” richiedeva centinaia di milioni di parametri e, spesso, un vocoder aggiuntivo. Inflect v2 dimostra che, quando l’attenzione si sposta dall’imitazione di voci multiple alla sintesi stabile di una singola voce, la compressione è ancora lontana dal suo limite.

La storia dietro il progetto conta quanto i numeri. Song è uno studente delle superiori canadese che ha lavorato con un budget di training limitato, costringendolo a cercare efficienza non solo in fase di inference ma anche nella preparazione dei dati e nella valutazione. Il risultato è un sistema end-to-end addestrabile e distribuibile con risorse modeste, una caratteristica che allinea l’open source con le esigenze di realtà in cui l’hardware è scarso o deve rimanere isolato: chioschi interattivi, dispositivi medicali, assistenti vocali domestici non connessi, applicazioni industriali in ambienti air-gapped.

La vera posta in gioco è la sovranità del dato audio. Ogni volta che un’applicazione invia testo a un API TTS cloud, anche per generare un semplice messaggio, trasferisce informazioni potenzialmente sensibili fuori dal perimetro aziendale. Modelli come Inflect v2, che girano in locale su CPU senza GPU e senza rete, spostano l’equilibrio verso l’on-premise e l’edge computing. Il trade-off è chiaro: una voce sola, in una lingua sola, con qualità non da studio. Ma per decine di casi d’uso – dall’assistenza in fabbrica alla domotica per anziani – è più che sufficiente.

Resta il fatto che le voci sono esclusivamente maschili e inglesi, e che nomi propri, abbreviazioni e numeri possono ancora incappare in artefatti metallici. Tuttavia, la traiettoria conta più del singolo snapshot: se il prossimo passo, come accennato dall’autore, punterà su più voci, lingue aggiuntive e un fine-tuning semplificato, il confine tra “giocattolo” e “strumento di produzione” potrebbe assottigliarsi rapidamente. Per chi oggi vuole metterlo alla prova, il playground interattivo su Hugging Face è già online; il consiglio di Song è di sottoporgli testi ostici e segnalare dove il modello si rompe. La community saprà fare il resto.