Investigadores de la Universidad Jiao Tong de Shanghái y de la Universidad de Cambridge han desarrollado F5-TTS, un sistema de texto a voz totalmente no autorregresivo basado en la correspondencia de flujo con el Transformador de difusión (DiT).

En otras palabras, podría ser el mejor generador de texto a voz con IA hasta el momento.

Este modelo se entrenó en un conjunto de datos multilingües público de 100 000 horas y, como puede escuchar en las demostraciones F5-TTS exhibe una capacidad de ser  sumamente natural y expresivo, una capacidad de cambio de código sin problemas y una eficiencia de control de velocidad.

“Sin necesidad de diseños complejos como un modelo de duración, un codificador de texto y una alineación de fonemas, la entrada de texto simplemente se rellena con tokens de relleno hasta alcanzar la misma longitud que el habla de entrada, y luego se realiza la eliminación de ruido para la generación del habla, lo que originalmente se demostró que era factible con E2 TTS“, dijeron los investigadores.

Fuente: GitHub

Artículos relacionados:

Crean inteligencia artificial que genera voz a partir de texto Ratón de PC con inteligencia artificial de voz y traducción automática de texto Generador de voz artificialmente inteligente puede imitar cualquier voz OpenAI presenta modelo de IA gratuito que trabaja con voz, texto e imagen al mismo tiempo Microsoft crea inteligencia artificial capaz de imitar la voz de cualquier persona en tres segundos La aplicación oficial de Texto a Voz de Google, gratis para Android