Emilia Gómez es una investigadora del MTG (Musical Technology Research Group), del Departamento de Tecnologías de la Información y Comunicación de la UFP (La Universitat Pompeu Fabra), quien está intentando crear nuevos enfoques digitales para enriquecer la experiencia de un concierto de música clásica, antes, durante y después del concierto, con la intención de llevar la música clásica a nuevas audiencias de modos innovadores a través de la tecnología.
«Una de las aplicaciones que estamos investigando es el contexto post-concierto que es una especie de posibilidad en donde el usuario puede tomar el rol del conductor y dirigir a una orquesta virtual. Este tipo de facilidades ya existe en la Casa de Música de Viena», dice Álvaro Sarasúa, primer autor del estudio publicado el 25 de febrero en el Frontiers in Digital Humanities, liderado por la profesora Gómez.
En la computación hombre-máquina, las metáforas en la interfaz proveen a los usuarios con una manera de interactuar con la máquina que le sea familiar a una actividad humana. Estas metáforas se usan frecuentemente en los instrumentos musicales digitales. En este estudio, los autores usan la metáfora del director de la orquesta. El interés en usar estas metáforas es que el usuario, de forma virtual, controle el tiempo y la dinámica de la orquesta, lo que puede hacer aplicando su conocimiento o su intuición sobre cómo funcionan ciertas actividades en el mundo real, en este caso, el dirigir una orquesta.
«Desde el punto de vista de la investigación, en este estudio nos interesamos en determinar cómo las nociones intuitivas estaban disponibles a los usuarios de este modelo virtual y cómo lo podían usar explícitamente por el sistema para responder a sus gestos dirigiendo la orquesta de forma más intuitiva, y por ende, tener un desempeño más expresivo», indica Sarasúa.
En la etapa inicial del proyecto, los investigadores hicieron algunos estudios observando a las personas y preguntándoles sobre su nivel de entrenamiento musical para escuchar algunos fragmentos de música clásica y entonces, cuando la música se tocaba de nuevo, el hacer movimientos para comunicar a la orquesta varios aspectos del tiempo musical y la intensidad. Los investigadores usaron una cámara de Kinect para grabar las diversas posiciones del cuerpo.
El análisis de los datos reveló diferentes tendencias entre los sujetos. Por una parte, para comunicar el tempo de la música, había personas que consistentemente comunicaban el ritmo de la música golpeando algo, mientras que otras personas lo hacían en total sincronía o con retraso. De acuerdo a las dinámicas con la que se tocaban los instrumentos, algunas personas se movían más energéticamente durante las partes fuertes, mientras que otras levantaban más los brazos.
«Nuestra hipótesis inicial para este estudio fue que el sistema permitía controlar el tempo y volumen de la pieza musical mediante el movimiento que hacía el conductor de la orquesta de forma intuitiva pero que de alguna manera se adaptaba a las tendencias personales», explica Sarasúa.
«En este ejemplo de nuestro experimento, había una ventaja implícita porque se usaba una metáfora, que era que el usuario debía dirigir a la orquesta y que sabían cómo mover los brazos y tener algo de intuición en su capacidad para controlar el tempo y la dinámica. Usando este sistema, las mejoras se hicieron más explícitas en donde el sistema observa y analiza qué sentidos del usuario deben trabajar o adaptarse al desempeño de acuerdo a estas intuiciones».
Los autores se refieren a esta estrategia como un mapeo por observación, ya que el mapeo, o la manera en que los usuarios se movían se conectaban a la música resultante, específicamente adaptando cada usuario como imitaba los movimientos de un director de orquesta sin darle instrucciones específicas.
Evaluando el sistema, los investigadores observaron a 24 participantes primero, con un sistema base que no se adaptaba a cada usuario y después, en un sistema basado en la estrategia del mapeo, y con eso comparar los resultados. Esta comparación se llevó a cabo en un contexto en el que el usuario aprendía a dirigir la orquesta virtual a través de las práctica. Ambos sistemas se compararon con medidas objetivas y subjetivas en una serie de tareas en donde los participantes tenían que dirigir a la orquesta tocando a diferentes volúmenes y sincronizando con un metrónomo a diferentes tiempos.
Los resultados mostraron que un sistema adecuado a cada usuario es mejor, tanto en términos de dar más control intuitivo de la dinámica, en donde el usuario se conducía como el director de orquesta como tener el control preciso del tempo. Más aún, los resultados encontraron una fuerte correlación entre medidas que pueden ser bosquejadas por los datos del usuario para hacer las adaptaciones y mejoras introducidas por el sistema, lo que indica que es posible estimar el avance en donde los movimientos espontáneos de los usuarios podrán ser útiles para adaptar el sistema a su estilo.
El documento del trabajo realizado puede verse aquí: Álvaro Sarasúa et al, Mapping by Observation: Building a User-Tailored Conducting System From Spontaneous Movements, Frontiers in Digital Humanities (2019). DOI: 10.3389/fdigh.2019.00003
