Microsoft deja claro en su web que VALL-E no solo se constituye por sí solo como un modelo de síntesis de voz a texto.

Sino que engloba aplicaciones de síntesis de voz que se pueden combinar con otros modelos ya conocidos en el mercado, como el ya famoso GPT-3. Eso incluye creación de contenido, edición de voz y aplicaciones de síntesis de voz zero-shot.

Funcionamiento de VALL-E

Microsoft incluye en su web no solo un esquema de cómo funciona el modelado de lenguaje de códec neural, sino que integra muestras que revelan el propio funcionamiento de VALL-E. Incluye la muestra original de la voz, si no detalles de la misma como su base o sus detalles intermedios, incluyendo su tono. VALL-E recoge todos estos detalles y los imita absolutamente todos, incluyendo la cadencia de la voz.

Además, el modelo es capaz de sintetizar muestras de voz personalizadas con las llamadas seeds propias de VALL-E, lo que permite prácticamente ‘transformar’ muestras de voces en otras. Tanto es así, que puede sintetizar estas voces personalizadas pero manteniendo la cadencia, el tono e incluso el entorno acústico del aviso del hablante.