Una fotografía muestra muchas veces rostros de personas de frente, o de costado quizá, las cuales por la misma naturaleza de la imagen, perdemos la tercera dimensión, es decir, tenemos una imagen 2D en donde la profundidad muchas veces se ha perdido.
En algunas investigaciones de cómputo o bien, tal vez para cuestiones de juegos o incluso educativas, el poder tener una imagen de un rostro tridimensional a partir de imágenes 2D resulta una tarea interesante. Por ello, este nuevo estudio muestra esta posibilidad de pasar de rostros bidimensionales a tridimensionales, usando para ello redes neuronales profundas.
Los resultados de los investigadores parecen asombrosamente precisos. El equipo de la Universidad del Sur de California junto con el Instituto de Tecnologías Creativas de la propia universidad, han logrado este efecto y publicado un artículo llamado “Photorealistic Facial Texture Inference Using Deep Neural Networks”. Los autores son Shunsuke Saito, Lingyu Wei, Liwen Hu, Koki Nagano y Hao Li.
Es claro que hacer un mapa detallado de un rostro es una tarea compleja. De acuerdo a Dunja Djudjic, en DIYPhotography “se requiere de una serie de fotos con luz ideal y consistente desde diferentes ángulos. Si se quiere capturar todos los detalles e imperfecciones de la cara, se necesita iluminación hecha por profesionales así como muchas fotos”.
Mapear un rostro requiere de muchas fotos y luz ideal para poder registrar todas las curvas, ángulos y asimetrías de la cara. Ya al inicio de este diciembre, el Instituto de Tecnologías Creativas de la USC trabajó sobre un esquema que usa una red neuronal para crear rostros 3D de fotos borrosas. Esto ya de por sí es notable.
Los investigadores presentaron su trabajo usando un videojuego como un ejemplo. El proceso es increíblemente complejo. Para esto, las celebridades fueron escaneadas por docenas de cámaras y luego escaneadas las fotografías por escáneres que mapearon cada cm cuadrado de los rostros.
Usando este trabajo, el grupo que transforma rostros de 2D a 3D indicó que creían que podían cambiar esto para que no fuese tan complejo. Y usaron su propio método. Usaron una red neuronal profunda para crear modelos 3D detallados y muy precisos. El artículo técnico que salió de esta investigación mostró los rostros de entrada y las salidas obtenidas. Los autores describen su enfoque como un “método de inferencia basado en datos”.
La propuesta de estos investigadores indican que su enfoque sobre síntesis neuronal podría manejar texturas de alta resolución, lo cual no es posible con los marcos de trabajo que usan aprendizaje profundo. Ellos usaron una base de rostros para hacer las inferencias.
De acuerdo con el artículo, la técnica de inferencia produjo mapas de textura de alta resolución con tonos de piel complejos con detalles mesoscópicos (poros, cabello, pelo en la piel), incluso en imágenes de baja resolución. Indicaron además que los mapeos de texturas fotorrealistas pueden ser sintetizados “optimizando iterativamente para reconstruir la correlación de características”.
Referencias: Photorealistic Facial Texture Inference Using Deep Neural Networks,
TechExplore