La tecnología de voz de IA puede literalmente dar voz a los sin voz y ayudarnos a superar las barreras del lenguaje. Sin embargo, el aumento de los riesgos de seguridad sigue a la aparición de la tecnología de voz generada por IA, especialmente para los sistemas que utilizan autenticación biométrica de voz y en ataques de ingeniería social, como se destaca en el segundo número del boletín de alertas de riesgo de identidad de BixeLab.
El temor al fraude de voz ha cobrado protagonismo con un ejemplo destacado, mencionado por Bianca González en un artículo de Biometrics. «En este caso, un periodista australiano logró obtener acceso no autorizado a su cuenta de Centrelink, una plataforma gubernamental equiparable a nuestro sistema virtual en España, utilizando un clon de su propia voz generado por inteligencia artificial (IA)», informó González.
Las investigaciones en los fraudes de voz
En el Reino Unido, otro investigador de ciberseguridad utilizó una versión generada por IA de su propia voz para acceder a una cuenta bancaria. Bixelab califica la criticidad del riesgo de fraude como «alto».
Consciente de los riesgos de seguridad, Meta anunció recientemente, pero no lanzó al público, su nuevo sistema de IA generativa: Voicebox. Su tecnología puede generar diálogos hablados a través de muestras de voz y texto y tiene capacidades como eliminación de ruido y edición de voz, síntesis de texto a voz y muestreo de voz diverso. Sin embargo, el gigante tecnológico «no está haciendo que el modelo o el código de Voicebox estén disponibles al público en este momento» debido a «los posibles riesgos de mal uso», reporta en su artículo Bianca González.
Voicebox puede crear salidas desde cero o basadas en un modelo de muestra. Con una tasa de error de palabra del 1,9%, el sistema supera actualmente la tasa de error de VALL-E del 5,9%. Voicebox también supera a YourTTS en transferencia de estilo entre idiomas, con una tasa de error promedio de palabras del 5,2% en comparación con el 10,9%, respectivamente. Voicebox también supera a VALL-E y YourTTS en similitud de estilo de audio.
Preocupaciones sobre la ética y la seguridad
La tecnología también utiliza el modelo Flow Matching, que es un modelo generativo no autorregresivo que puede aprender una asignación no determinista entre texto y voz, lo que permite que la tecnología aprenda a partir de datos de voz variados sin usar etiquetas. Como resultado, Voicebox puede entrenarse con datos más diversos a una escala mucho mayor.
Meta entrenó Voicebox con más de 50,000 horas de grabaciones de voz y transcripciones de audiolibros de dominio público en inglés, francés, español, alemán, polaco y portugués. Puede completar el discurso a partir del contexto y generar el contenido central de una grabación de audio sin tener que volver a crear por completo la entrada.
El dilema de la voz generada por IA
Voicebox puede usar una muestra de audio de dos segundos para generar un estilo de audio correspondiente que luego se puede usar para generar texto a voz, lo que puede dar voz a alguien que no puede hablar. La transferencia de estilo entre idiomas permite a los usuarios convertir texto de un idioma a audio en otro idioma, creando una nueva forma de superar las barreras del lenguaje. También puede volver a sintetizar el discurso para eliminar el ruido de fondo, simplificando el proceso de edición de audio.
A medida que se revelan más casos de fraude de voz y se descubren sus posibles implicaciones, la comunidad tecnológica se enfrenta al desafío de encontrar un equilibrio entre el avance tecnológico y la seguridad de los usuarios. El debate sobre la ética y el uso responsable de la voz generada por IA está en pleno apogeo. Por ahora, Meta ha decidido mantener Voicebox en la sombra, pero el debate continúa.
