• Título completo Módulo de recoñecemento de voz que debe asistir ó proceso lipsync
  • Entidad financiadora Bren Entertainment S.A.
  • Investigadores Fernando López Peña, Richard J. Duro Fernández, José Antonio Becerra Permuy, Francisco Javier Bellas Bouza, Pilar Caamaño Sobrino, Jorge José Caamaño Vidal, Juan Monroy Camafreita, Alejandro Paz López
  • Fecha de inicio 23/02/2007
  • Fecha de fin 22/02/2009
Entidades colaboradoras
  • Bren Entertainment S.A.
  • Universidade da Coruña

Descripción

En este proyecto de investigación, realizado en colaboración con la empresa Bren Entertainment, se afrontó el problema de la sincronización del movimiento labial de los personajes con el audio que hablan en animación 3D. Este es un proceso que se realiza de forma totalmente manual por parte de los diseñadores gráficos y que consume mucho tiempo, aproximadamente un plano de unos 3 o 4 segundos puede llevar media jornada de trabajo.

Así, el objetivo global del proyecto fue el desarrollo de un módulo de lipsync automático que se adapte a los requerimientos artísticos de Bren, de forma que la sincronización labial de los personajes sea el más autónoma y realista posible.

Para la primera parte de este sistema de autolipsync, se desarrolló una herramienta de reconocimiento de fonemas fiable y precisa basada Sphinx-4 como punto de partida para la creación de un reconocedor de fonemas propio. La segunda parte del sistema consistió en el diseño, implementación y validación de un sistema que realizara la selección automática de los visemas a partir de criterios artísticos proporcionados por la empresa

La segunda parte del sistema consistió en el diseño, implementación y validación de un sistema que realizara la selección automática de los visemas proporcionados por el autolipsync a partir de criterios artísticos proporcionados por la empresa. En este punto decidimos afrontar el sistema en dos etapas:

  1. Desarrollar un sistema basado en conocimiento que, tras inferir las reglas básicas de realización de lipsync de los animadores de Bren, proporcionara una solución robusta y simple.
  2. Desarrollar un sistema basado en perfilado automático de usuarios que utilice redes de neuronas artificiales y algoritmos genéticos.

Se implementaron y validaron ambos sistemas con éxito, siendo el resultado del proyecto muy satisfactorio para la empresa que lo utilizó en 2 producciones logrando un 75% de ahorro en tiempo al proceso de lipsync con una integración excelente en el proceso de trabajo de Bren.