KittenML ha rilasciato in open source Kitten-TTS 2, un modello di sintesi vocale che porta la quantization ternaria a 1,58 bit e gira in tempo reale su una semplice CPU. Non è un dettaglio minore: si tratta del primo modello TTS al mondo con questo livello di quantization. Il modello ha 1,7 miliardi di parametri, ma l'architettura ternaria riduce l'impronta di memoria al punto da rendere il self-hosting realistico senza GPU.

Dal punto di vista tecnico, ogni peso lineare nel corpo del modello assume uno di tre valori (-1, 0, +1), con un group size di 128 per le scale. KittenML fornisce anche kernel ternari ottimizzati per l'inference su CPU. In pratica, il costo computazionale si sposta dalla disponibilità di VRAM alla qualità del software di esecuzione. È un cambiamento rilevante per chi costruisce servizi vocali su hardware comune.

Le funzioni annunciate sono ambiziose: voice cloning zero-shot a partire da meno di cinque secondi di audio di riferimento, con conservazione di espressività e accento e senza bisogno di fine-tuning. Il supporto multilingue copre oltre 20 lingue e consente il cloning cross-linguistico per produrre parlato con accento. C'è inoltre un controllo dell'enfasi: si può indicare quali parole sottolineare, non solo quale voce usare.

La conseguenza più rilevante per chi valuta deployment on-premise è che Kitten-TTS 2 sposta il calcolo locale dalla GPU alla CPU. Non serve noleggiare istanze cloud né dotare i nodi di schede costose: un'architettura basata su CPU può sostenere la generazione vocale in tempo reale. Questo cambia il calcolo del TCO per assistenti vocali interni, voicebot e strumenti di accessibilità. La voce dell'utente non deve lasciare l'infrastruttura aziendale, un vantaggio per chi opera sotto vincoli di sovranità dei dati o GDPR.

Non è solo una notizia di prodotto. Il fatto che un modello TTS con 1,7 miliardi di parametri adotti la quantization ternaria indica che le tecniche di compressione spinta stanno uscendo dalla fase sperimentale e diventano scelte architetturali pratiche. Se i kernel CPU ottimizzati garantiscono la reattività promessa, il vincolo hardware per la sintesi vocale locale smette di essere la potenza di calcolo e diventa la qualità dell'integrazione software. Per i fornitori cloud di voice cloning, il rischio è di vedere erodersi i casi d'uso più semplici, quelli in cui bastano voci multilingue ed espressive senza una regia fine del parlato.

KittenML presenta il progetto come alternativa open source a ElevenLabs per chi ha poche GPU. Il punto non è se oggi raggiunga la stessa fedeltà su ogni lingua o accento, ma che rende plausibile un percorso self-hosted senza investimenti in hardware dedicato. Per le aziende che lavorano su dati vocali sensibili, l'opzione di tenere l'intera pipeline locale, dal riferimento audio alla generazione, cambia i termini della scelta tra cloud e infrastruttura propria. Se le prove su CPU consumer confermeranno la latenza in tempo reale anche con carichi sostenuti, questa release segnerà un precedente per l'intera famiglia dei modelli generativi audio locali.