Suscribir RSS Feed
Nuevas relaciones gestuales del intérprete
Resumen
La gestualidad y el cuerpo son tópicos de interés creciente en los estudios musicológicos actuales. Los avances tecnológicos han permitido el desarrollo de nuevos instrumentos digitales controlados a través del gesto. En este trabajo se profundizará sobre las relaciones gestuales que tienen lugar en la interpretación de dichos instrumentos digitales, comparándolas con los instrumentos tradicionales acústicos y estudiando los tipos de gestos y movimientos que permiten, y las implicaciones, pedagógicas, estéticas, técnicas y sociales que presentan.
Palabras clave: controladores gestuales, interactividad, tipos de gestos.
Abstract
Gesture and the body become main topics within musicological studies. Technology has developed gesture controlled musical devices. In this work we will focus on the gestural interactions that digital controllers allow, comparing them with acoustic instruments. We will also study the different types of gestural relationships that are involved and also their pedagogical, aesthetic, technical and social implications.
Keywords: gesture controllers, interaction, types of gestures.
La interpretación de un instrumento musical, de forma universal en todas las culturas y prácticamente a lo largo de diversas épocas ha estado ligada al gesto. Los gestos del ejecutante cumplen varias funciones fundamentales en la interpretación musical: a través ellos se produce el sonido, se intercambian señales de comunicación entre diferentes miembros que tocan juntos y el intérprete desarrolla una gestualidad propia como una forma de crearse una identidad. En los últimos años, con el desarrollo de la tecnología han proliferado una clase de instrumentos musicales digitales que no requieren de la ejecución del gesto para producir sonido, aunque sin embargo siguen manteniendo una estrecha relación con el movimiento, son los llamados controladores gestuales. Este apelativo es en realidad una metonimia que identifica a los instrumentos musicales digitales que utilizan dispositivos de control gestual, pues los controladores son los dispositivos de mediación entre el sujeto y el sonido del instrumento. No obstante, en la literatura aparecen como sinónimos y en este escrito controladores gestuales e instrumentos digitales controlados a través del gesto hacen referencia al mismo concepto. El objetivo de este artículo es estudiar y tipificar los diferentes tipos de relaciones gestuales que los controladores permiten al intérprete, siempre comparándolas con las que ofrecen los instrumentos acústicos tradicionales, con el fin de estudiar las posibilidades creativas y funcionales de dichos instrumentos.
1. Instrumentos digitales controlados a través del gesto.
A diferencia de la música creada con instrumentos acústicos tradicionales, la música compuesta por ordenador no requiere de gestos productores de sonido por parte de un intérprete. El sonido está previamente almacenado o es sintetizado en tiempo real, y los gestos que el intérprete realiza sirven para activar el sonido pero no para producirlo físicamente. La unión tan estrecha que a lo largo de la historia de la música ha acompañado a gesto y sonido, ha cambiado drásticamente en la era digital. A pesar de que los gestos productores de sonido como tal, desaparecen del lenguaje técnico del instrumento digital, se necesitan otras acciones que proporcionen al intérprete la capacidad de control sobre el instrumento. Ya hemos mencionado que un controlador gestual es un dispositivo a través del cual se maneja un instrumento digital. Los controladores conceden una gran importancia al gesto del músico, aunque las relaciones que implican u ofrecen son diferentes de las proporcionadas por los instrumentos acústicos. Un controlador se define como un dispositivo que permite conectar, a través de un ordenador, los gestos, acciones y movimientos[1] de un ejecutante con sonido, iluminación, proyecciones de imágenes o vídeo. En los instrumentos acústicos, el gesto que realiza el sujeto influye sobre el sonido resultante, por ejemplo, un violinista puede conseguir un staccato aumentando la presión del arco sobre las cuerdas del instrumento y realizando un moviendo seco, rápido e incisivo. Sin embargo, los gestos o movimientos de un instrumentista digital no contribuyen a matizar o modificar el sonido en sí, sino que es el programa informático el que manda órdenes acerca de cómo el gesto y el sonido han de relacionarse.
Un instrumento musical digital está basado en tres componentes que lo integran: un controlador (gestual en su mayoría[2]), una fuente de producción sonora y un mapeado o relación entre ambos, es decir, la programación que vincula los gestos y movimientos del intérprete y el material sonoro-musical resultante. Durante los últimos años y como consecuencia de un desarrollo tecnológico globalizado presente cada vez más en diversas parcelas de la vida, algunos compositores se han sentido atraídos por la creación de nuevas relaciones entre la actividad humana y el sonido resultante (Dobrian 2001), de esta manera se pueden buscar estrategias de creación musical diferentes e innovadoras que impliquen nuevas estructuras y lenguajes, en definitiva, nuevas formas de comunicación. Wanderley y Depalle sostienen que gracias a los avances técnicos, “los dispositivos para el input y los métodos de síntesis sonora pueden ser combinados para crear instrumentos musicales digitales (DMI)” con los que se cree sonido en tiempo real o que permitan controlar un sonido a través del gesto (2004: 632). Los instrumentos digitales permiten al constructor establecer nuevas relaciones entre gesto y sonido, debido a que no existe una relación física entre acción y producción sonora. Las posibilidades de relación gesto-sonido ofrecen muchas variantes. Bongers (2000:42), señala que “virtualmente cualquier acción del mundo real puede se traducida en energía eléctrica y por lo tanto sirve como señal para una fuente de sonido (analógica o digital)”. A la hora de diseñar un instrumento digital, cualquier gesto puede traducirse en cualquier sonido. Sin embargo, a pesar de esta libertad aparentemente infinita, los diseñadores siguen manteniendo algunas relaciones causales entre gesto o movimiento y sonido muy directas e intuitivas. Más adelante profundizaremos en este aspecto.
Para poder abordar el estudio de los instrumentos musicales digitales analizaremos los tres constituyentes de los mismos de forma separada: el input o la información de entrada, el mapeado y el output o información sonora resultante. En realidad, la información de entrada es la más relevante en relación con la gestualidad, porque es la encargada de discretizar los gestos que se utilizarán en el mapeado. Por esta razón, dedicaremos más atención a este apartado.
1.1. El input.
El input es la información de entrada que el ordenador recibe y que posteriormente se vinculará con el sonido. En el caso de los instrumentos digitales controlados a través del gesto, los movimientos y acciones del intérprete constituyen este tipo de información de entrada. Para que un intérprete pueda relacionarse gestualmente con un instrumento, por lo general, éste ha de constar de un dispositivo que le permita recoger (a través de uno o varios sensores) dicha información gestual. Wanderley y Depalle señalan que “una vez que uno o varios sensores están ensamblados en un único dispositivo, éste se puede denominar controlador gestual” (Wanderley y Depalle 2004: 636). Los controladores están formados por el conjunto de sensores que recogen la información gestual del intérprete.
Los sensores que se incluyen en los controladores gestuales no suelen ser específicamente musicales, al contrario, se utilizan frecuentemente en otro tipo de dispositivos electrónicos. Por ejemplo un ratón o un joystick son dos tipos de sensores muy conocidos y de uso popular que también se utilizan en instrumentos digitales. Los sensores requieren, por regla general, contacto físico de alguna parte del cuerpo del intérprete con el controlador sin contacto.
De entre los sensores con contacto los que se utilizan con más frecuencia en instrumentos digitales son los sensores de presión, los sensores de rotación y los de flexión.
- Sensores de presión. Detectan la resistencia o fuerza de los dedos o las manos sin necesidad de movimiento. Algunos instrumentos como la Meta-Trompeta[3], una trompeta ampliada, diseñada por Jonathan Impett (Impett 1994), utiliza sensores de presión de pequeño tamaño. Otro instrumento digital como The hands[4][5], el instrumento diseñado por Michel Waisvisz (1985) utiliza un sensor como el FlexiForce, usado en este caso como sensor de tacto.
- Sensores de rotación. Miden el giro que se realiza sobre su eje produciendo cambios en la resistencia eléctrica. Los controladores de intensidad de los aparatos electrónicos utilizan sensores de rotación. Los joysticks son dispositivos muy frecuentemente utilizados en videojuegos que cada vez más se utilizan en instrumentos digitales.
- Los sensores de flexión, como el Flex Sensor que es uno de los más habituales, consiste en una banda elástica de plástico que cambia de resistencia cuando se dobla. Este sensor se utiliza en el Lady’s Gloves [6] construido en 1994 por Laetitia Sonami o en el guante construido por Wart Wamsteker [7]para Sonology. Este tipo de sensor, además de detectar información acerca del doblez de las articulaciones, funciona también como sensor de tacto, como hemos mencionado que se utiliza en The hands.
Los sensores sin contacto permiten una mayor libertad de movimiento al intérprete ya que no se precisan de cables para su funcionamiento. En algunas ocasiones necesitan algún tipo de dispositivo que el intérprete manipule, pero en otros casos se captura el movimiento libre. Algunos de los sistemas de uso más común son los ultrasonidos, los campos magnéticos, los acelerómetros y las cámaras de captura de movimiento.
- Sistemas de ultrasonidos. Funcionan a través de sonidos que son capturados por micrófonos. El tiempo que el sonido tarda en ser captado por el micrófono es proporcional a la distancia, de tal forma que con ese procedimiento detecta la posición. Este tipo de sensores se utilizan en los PowerGloves[8] (Gold 1992). También The Hands utiliza la medición ultrasónica para la distancia de las dos manos en el espacio (Mulder 2000)
- Campos magnéticos. Constan de imanes que permiten medir las distancias a su polo. Los utiliza Laetitia Sonami en el Lady´s Gloves, que llevan un imán pegado al dedo pulgar y sensores en las yemas de los dedos. La Meta Trompeta de Jonathan Impett, el Radio Baton[9][10] diseñado por Mathews y Boie y The Global String[11] también utilizan medición por campos magnéticos. En The Global String el movimiento se captura a través de imanes adosados a la cuerda.
- Los acelerómetros. Se componen de fibras de silicona que reaccionan con la inercia variando una corriente eléctrica que pasa a través de ellas. Este tipo de sensores son utilizados en instrumentos tales como la Meta trumpet de Impett, los Lady´s Gloves y en algunos de los sistemas de danza interactiva.
- Captura de imagen. Es el sistema de captura sin contacto por excelencia ya que una cámara de vídeo recoge los movimientos, posturas y posiciones de uno o varios intérpretes. Se suelen utilizar programas para capturar la imagen a través de cámara de vídeo en dos dimensiones como el EyesWeb[12] el Eyecon[13], Isadora[14] y Big Eye[15], aunque en la actualidad se están empezando a utilizar sistemas de captura de movimiento en tres dimensiones, que son los utilizados en la creación de imágenes para videojuegos o dibujos animados. Uno de los sistemas de captura en 3D más conocidos es el Vicon, (Dobrian y Bevilacqua 2003) que utiliza 8 cámaras de infrarrojos que captan la posición de diversos puntos luminosos colocados en el intérprete, que son interpolados a través de un programa de ordenador, para reconstruir la imagen tridimensional del movimiento.
El uso de un tipo u otro de sensor determina el tipo de información gestual que, en forma de datos numéricos, se procesará en el ordenador para después relacionarse con los sonidos. En su mayor parte la información que se recoge a través de los sensores es de los siguientes tipos:
- Información de posición de una parte del cuerpo con respecto a otra. A través de la captura con cámara, campos magnéticos o ultrasonidos se puede reconstruir la posición.
- Velocidad de una parte del cuerpo o de un objeto: se detecta a través de acelerómetros o cámaras de captura en 2 y 3D.
- Presión: la fuerza que se ejerce sobre una cuerda, un botón o una superficie se mide a través de sensores de presión.
- Flexión: el grado de torsión de las articulaciones de los dedos o del codo se mide a través de sensores de flexión.
- Cualidad del movimiento. Los sistemas de captura de movimiento a través de cámara de vídeo como el EyeCon o el EyesWeb permiten determinar ciertos parámetros motores del cuerpo de forma global, o de partes del cuerpo seleccionadas, como son: el espacio que ocupa el cuerpo (en el plano vertical y horizontal), la fluidez del movimiento, la dirección, la desviación general del cuerpo con respecto al eje axial, etc).
Los sensores que mayor número y tipo de información aportan son los capturadores de movimiento a través de cámara. A continuación analizaremos el tipo de relaciones que se pueden establecer entre la información gestual capturada y un sonido resultante a través de lo que se conoce como mapeado.
1.2. El mapeado.
El término mapeado viene del inglés “mapping” y hace referencia a la conexión artificial que a través de un programa de ordenador se hace entre los gestos del intérprete y los sonidos musicales. Los gestos captados por diversos sensores proporcionan información de presión, posición, rotación, flexión, bien de una parte muy concreta del cuerpo o de todo el cuerpo de forma global. La forma de mapeado más simple consiste en asignar un sonido o parámetro sonoro a un tipo o cualidad de movimiento. Por ejemplo, la fuerza ejercida sobre una tecla puede determinar la intensidad sonora, creando un mapeado que imita las relaciones gestuales de los instrumentos acústicos tradicionales. Este tipo de mapeado se utiliza en algunos tipos de instrumentos que más adelante estudiaremos, aunque por lo general los constructores de instrumentos prefieren mapeados más complejos, los denominados multi-capa. El mapeado multi-capa consiste en la creación de parámetros intermedios que vinculen los elementos de entrada y de salida. De esta manera, si cambiamos el controlador o los sonidos que queremos utilizar, podemos seguir utilizando este mapeado, algo imposible en los sistemas de una sola capa.
Más adelante profundizaremos sobre los diversos tipos de controladores musicales y reflexionaremos sobre cómo algunos diseñadores buscan relaciones causales directas y claras que permitan recrear la capacidad de control del intérprete. Otros diseñadores prefieren diseñar relaciones más complejas que no permiten al espectador descubrir las leyes de funcionamiento interno del instrumento.
1.3. El output. Sonido, imagen y luces.
El output es la información de salida, es decir, la reacción del sistema a la información entrante. En todos los instrumentos digitales, el sonido, es el output por excelencia, aunque otro tipo de estímulos también pueden ser activados. El sonido que se vincula a un gesto gracias al mapeado, se puede sintetizar en tiempo real o puede estar grabado o almacenado previamente. La síntesis sonora consiste en la generación de sonido de forma completamente digital. Un sintetizador es un dispositivo que “lo genera [el sonido] a partir de la combinación de elementos simples (normalmente señales periódicas y funciones matemáticas) que no tienen por que existir fuera de sus circuitos” (Jordá 1997: 1). Existen varios procedimientos de síntesis sonora, de entre los cuales destacan la síntesis aditiva, la síntesis por modulación de frecuencia, por tabla de ondas y la síntesis sustractiva[16]. Los sonidos pregrabados también se utilizan con frecuencia como output del mapeado. Dichos sonidos, o bien tratan de reproducir las cualidades tímbricas de instrumentos acústicos o bien son sonidos electrónicos con texturas novedosas que no recuerdan en absoluto a los instrumentos tradicionales.
Además de los sonidos, los instrumentos digitales pueden controlar el uso de luces, la proyección de vídeo, y diversas formas de retroalimentación háptica. La retroalimentación háptica es la información que un instrumento nos ofrece cuando nos relacionamos físicamente con él a través del tacto. Por ejemplo, percibimos la vibración de sus cuerdas, la vibración de un parche en el que golpeamos con una baqueta o la presión que ejerce el teclado contra nuestros dedos. Esta información ayuda al intérprete a adquirir el máximo control sobre el instrumento y los instrumentos digitales, por lo general no producen este tipo de retroalimentación. Algunos autores debaten sobre la necesidad de incluir esta información (Rovan y Hayward 2000) porque el intérprete necesita algo que tocar, agarrar, un soporte del que carecen los instrumentos tocados en el aire (Godoy et al. 2006). Más adelante abordaremos este tema en profundidad.
2. Tipos de instrumentos digitales que utilizan controlador gestual.
Los instrumentos digitales presentan una gran diversidad tipológica, funcional y morfológica. Algunos de ellos han surgido de las grandes casas de fabricantes de instrumentos acústicos con el objetivo de crear versiones más baratas de estos instrumentos, como los teclados eléctricos, las flautas midi, etc. Otros, sin embargo se han desarrollado en laboratorios de informática musical con el fin de crear artefactos novedosos totalmente desvinculados de parecido con algún instrumento musical precedente permitiendo nuevas formas de experimentación musical[17]. Wanderley y Depalle (2004: 635) proponen una clasificación de los instrumentos digitales o controladores gestuales (como ellos los denominan) en cuatro categorías dependiendo de su mayor o menor parecido con los instrumentos acústicos. Dichas categorías nos permiten analizar el tipo de técnica gestual que requieren en función de su diseño y el dispositivo de control.
2.1. Controladores “tipo instrumento”
Los controladores de esta clase buscan reproducir las características físicas y sonoras de los instrumentos acústicos. Por ello, el instrumentista deberá utilizar una técnica similar a la que normalmente utiliza con el correspondiente instrumento acústico para conseguir un sonido lo más similar a éste. Estos instrumentos suelen presentar un precio reducido y permiten la colocación de auriculares, aunque algunos usuarios y profesionales indican que las cualidades sonoras de los instrumentos digitales son mucho más pobres que las que ofrecen los instrumentos acústicos, además de no proporcionar una retroalimentación háptica.
Cualquier instrumentista acústico puede interpretar un instrumento de este tipo ya que la técnica requerida es similar. Un ejemplo de este tipo es el controlador de viento fabricado por Yamaha[18].
2.2. Los controladores “inspirados en instrumentos”
En este grupo se engloban los instrumentos que inspiran su morfología en instrumentos existentes pero están diseñados con una función totalmente diferente. Precisan una técnica nueva y los resultados sonoros que se obtienen de él son novedosos. Existen controladores inspirados en pianos, guitarras, instrumentos de viento o cuerda frotada. Es el ejemplo del violín SuperPolm[19] desarrollado por Goto, Terrier y Pierrot en 1999, que está inspirado en un violín, aunque el resultado sonoro que produce no se asemeja al instrumento acústico. Los dedos de la mano izquierda activan sensores en lugar de presionar las cuerdas. Dichos sensores miden la posición y la presión de los dedos para controlar sonidos e imágenes.
2.3. Instrumentos aumentados o “hiperinstrumentos”
Son instrumentos acústicos a los que se les añaden sensores u otros dispositivos con el fin de que se puedan controlar parámetros que un instrumento tradicional no puede, como los movimientos ancillares[20], un tipo de movimientos que no son necesarios para la producción del sonido del instrumento pero que los acompañan: el balanceo del cuerpo, el movimiento de los brazos o la cabeza, etc. Algunos ejemplos de hiperinstrumentos son El Disklavier, que es un piano diseñado por Yamaha que ha sido aumentado con sensores en las teclas y en los pedales por Risset and Dauyne (1996); las flautas diseñadas por Pousset (1992), Ystad y Voinier (2001), Palacio- Quintin (2003); o las trompetas desarrolladas por Perry Cook et al. (1993), Impett (1994, 2003) y Vergez (2000). El hipercello creado por Tod Machover[21] se hizo popular porque lo construyó para el célebre violonchelista Yo-Yo Ma, quien lo interpretó por primera vez con la pieza Begin, begin, again… en 1991. El violonchelo acústico de este instrumento lleva colocados varios sensores que miden los movimientos de la muñera derecha (los movimientos de arco) y sensores localizados en el arco que envían datos del sonido acústico del instrumento. La información se trata de manera diversa a lo largo de la pieza. En ocasiones los datos captados por los sensores de la muñeca controlan la transformación electrónica del sonido que procede del puente, otras veces permiten crear acompañamientos, pueden cambiar la orquestación, densificar la textura o añadir énfasis. El lenguaje gestual de los hiperinstrumentos introduce una novedad fácilmente perceptible por los espectadores. Algunos de los movimientos que normalmente acompañan al intérprete, como cambios de peso o movimientos de arco, en este tipo de instrumentos, comienzan a formar parte del repertorio de gestos que producen sonido. Es decir, que los movimientos ancillares se convierten en gestos productores de sonido de tal manera que se establece un solapamiento entre los sonidos y gestos del instrumento puramente acústico y los sonidos y movimientos controlados por ordenador.
2.4. Controladores alternativos
Los controladores alternativos permiten la creación de una relación totalmente arbitraria y libre entre gesto y sonido. Los movimientos necesarios para interpretar un instrumento de estas características no se asemejan a los gestos que requiere un instrumento acústico y los sonidos resultantes no intentan reproducir o imitar a otro instrumento. Algunos ejemplos significativos de controladores alternativos son el BioMuse[22], un sistema de control sonoro a través de la tensión muscular desarrollado por Ben Knapp y utilizado por Atau Tanaka; la danza interactiva desarrollada, entre otros, por el grupo Palindrome (Weschler 1995, 1997, 2004)[23]; The hands, controlador desarrollado por Waiswisz (1985); Lady´s Gloves, los guantes interactivos diseñados por Laetitia Sonami (1994); el Chromasone de Walter Fabrek[24]; la Sensorband, liderada por Edwin van der Heide, Zbigniew Karkowski, Atau Tanaka[25]; o el Thunder de Don Buchla[26]. Los controladores alternativos permiten una mayor libertad de mapeado del tipo de gestos que lo controlarán. La persona que diseña un instrumento de este tipo puede, eligiendo bien el tipo de sensores, el sonido resultante y la relación entre ambos, crear cualquier resultado que se imagine, cualquier tipo de lenguaje gestual que permita esa mediación entre el cuerpo y la música.
El estudio de las relaciones gestuales que están implicadas en la ejecución de diversos instrumentos requiere una tipificación de los mismos atendiendo a sus funciones. Por ello, en el siguiente apartado proponemos una clasificación de los diversos tipos de gestos y movimientos implicados en la interpretación musical.
3. Tipos de gestos y movimientos.
La gestualidad que un instrumento le permite a un intérprete depende en gran medida de la morfología del instrumento. Los pianistas y los flautistas cuentan con un vocabulario de gestos diferentes debido a la naturaleza física del instrumento. Del mismo modo, los controladores gestuales, dependiendo de su diseño, permiten diferentes aproximaciones físicas del intérprete, condicionando así la técnica que se necesita para controlarlo. No obstante, además del propio instrumento, los músicos desarrollan una serie de gestos que les son identificativos. Algunos intérpretes se han hecho célebres por sus gestos, desde Glenn Gould, Jimmy Hendrix hasta Michael Jackson. Cuando un intérprete toca podemos observar cómo diferentes niveles de comunicación: el sonido del instrumento, los gestos y los movimientos, confluyen para recrear en el espectador una serie de significados, impresiones, afectos y reacciones. La percepción musical de la audiencia es multimodal ya que combina informaciones auditivas, que son por supuesto primordiales en el caso de la música, con otras que no carecen de relevancia, las visuales. En los controladores gestuales la importancia de este canal visual es mucho mayor que en el caso de los instrumentos acústicos. Los constructores de instrumentos dotan de pertinencia a los gestos que el intérprete necesita para controlar el sonido, esto quiere decir que los gestos se convierten en un componente más dentro del espectro compositivo. Los instrumentos digitales implican, aunque no todos y en todo momento, cierta interacción gestual, es decir, la atribución de relaciones causales entre gesto y sonido. El espectador puede entender en algunos momentos de las piezas que determinados gestos que realiza el intérprete están provocando ciertas respuestas musicales aunque no sean gestos que produzcan el sonido de forma directa.
La gestualidad que permiten los instrumentos digitales puede desempeñar varias funciones: la producción del sonido, el acompañamiento del sonido, la expresión o la creación de identidades, la comunicación con la audiencia o con otros intérpretes o la exploración del instrumento. La clasificación que se presenta a continuación propone cinco tipos de gestos y se apoya parcialmente en la realizada por Wanderley y Depalle (2004) y Jensenius (2007) aunque está modificada y ampliada. Dichos gestos pueden ser instrumentales, ancillares, estéticos, comunicativos, o contingentes.
3.1. Los gestos instrumentales. La función de este tipo de gestos es la de producir el sonido. En los instrumentos acústicos, el propio movimiento provoca la vibración (en una cuerda, una columna de aire, un parche o dos objetos que entrechocan). En el caso de los instrumentos digitales el gesto instrumental activa la relación determinada por el mapeado. Esta categoría fue propuesta por Cadoz (1988), aunque otros autores la recogen bajo otras denominaciones como Delalande (1988), que denomina a este tipo de gestos efectivos, o Jensenius (2007), que los denomina gestos de producción sonora. Jensenius incluso los divide en dos subtipos: los gestos excitadores y los modificadores del sonido. Por ejemplo, la digitación de un pianista es la que produce la vibración y por tanto es del primer tipo, y el uso del pedal para apagar el sonido sería un gesto modificador. En el caso de los instrumentos digitales también se pueden encontrar gestos de ambos subtipos. Por ejemplo, en el hipercello interpretado por Yo-Yo Ma, los sonidos acústicos producidos por el arco son excitadores y los movimientos ancillares recogidos por los sensores: aceleración, equilibrio, etc., se convierten en gestos modificadores porque transforman los sonidos acústicos que han sido recogidos por un micrófono en tiempo real.
Durante la elaboración del mapeado, en este proceso en el que se asigna la función de producir el sonido a determinados gestos, existe una gran libertad. Esto implica que se pueden desarrollar instrumentos fáciles de interpretar: instrumentos ergonómicos, cómodos y que se adapten a las características físicas del intérprete; instrumentos que no requieran gran virtuosismo gestual para ser interpretados o manipulados. Los diseños pueden implicar movimientos desde los más pequeños, finos y sutiles (movimientos de la cara o los dedos), hasta movimientos globales que impliquen la activación de todo el cuerpo. No obstante, las relaciones complejas también pueden ser posibles, por ejemplo, dentro de un mismo movimiento se pueden separar parámetros. Del movimiento de un brazo, la dirección del movimiento puede controlar un parámetro sonoro y la tensión de los músculos otro, favoreciendo combinaciones de gran complejidad.
3.2. Los movimientos ancillares[27]. Así como los gestos instrumentales van encaminados a producir el sonido, aún cuando el intérprete posee una técnica muy depurada, otros movimientos suelen acompañar a éstos. Los flautistas además de las digitaciones y el soplo a través de la embocadura realizan movimientos del tronco, de la cabeza, de las manos, flexión de rodillas, etc. Delalande los denomina gestos acompañantes y han sido renombrados por Wanderley et al. (2005) como movimientos ancillares. Debido a la gran difusión de este término en el ámbito académico, lo adoptamos en esta clasificación. Los movimientos ancillares son movimientos que acompañan a los gestos instrumentales y tienen relación con elementos estructurales de la música. Cuando observamos los movimientos ancillares de un intérprete, por ejemplo un pianista, podemos apreciar cómo las rotaciones de tronco o los movimientos de cabeza suelen relacionarse con la estructura de la música: la repetición de las frases, las cadencias, los ritardandos, etc. Los movimientos ancillares (convertidos en gestos en este caso por adoptar intención) son utilizados sobre todo en los hiperinstrumentos como gestos de control para producir sonidos pregrabados o modificar los sonidos acústicos capturados con un micrófono. En este caso concreto de los hiperinstrumentos, dichos movimientos (ancillares para la parte acústica del instrumento) se convierten en gestos instrumentales, ya que contribuyen a controlar el sonido resultante. Por lo tanto, solo se puede hablar de movimientos ancillares puros cuando las acciones que implican acompañan a los gestos instrumentales pero no influyen en el resultado sonoro.
3.3. Gestos estéticos o expresivos. Cuando un músico toca en escena, muy frecuentemente exagera algunos gestos ancillares e instrumentales para fomentar la expresividad de la pieza que interpreta y establecer una relación con la audiencia. Normalmente se establecen patrones de movimiento acordes con la estructura musical, movimientos de ascenso y descenso del cuerpo que acompañan al arco de fraseo, suspensiones o paradas en momentos de clímax, balanceo, etc. Delalande (1988) los denomina movimientos figurativos y Jensenius (2007) gestos acompañantes. Estos gestos no son necesarios para producir el sonido resultante pero facilitan y mejoran la interpretación. Los gestos estéticos identifican a un intérprete o un estilo. Los saxofonistas tienen un repertorio muy diferente al de los clarinetistas (aunque ambos instrumentos sean de viento); no obstante, dos clarinetistas presentan un lenguaje gestual estético un poco diferente que los representa. Ya hemos mencionado a dos intérpretes que se hicieron célebres gracias a sus gestos estéticos: el famoso pianista Glenn Gould, o el mítico guitarrista Jimmy Hendrix. Además, como ya hemos anticipado, los gestos estéticos pueden identificar determinados géneros musicales. Existen gestos típicos de los guitarristas de Heavy Metal, de cantantes de Rap, de teclistas de Salsa, entre otros. Algunos controladores alternativos que miden parámetros no visibles del movimiento, como el BioMuse, que interpreta Atau Tanaka (que mide la respuesta electromiografíca de los músculos), no precisan de movimientos amplios para ser interpretados. Tanaka, señala que en las actuaciones en vivo utiliza más gestos de los que serían necesarios para interpretar el BioMuse porque la audiencia necesita de ese tipo de información visual para sentir que el intérprete tiene cierto poder de control sobre el instrumento (Tanaka 2000).
3.4. Gestos comunicativos. Cuando los músicos no interpretan su instrumento como solistas existen otro tipo de gestos orientados a la comunicación con otros intérpretes. Así, los inicios y finales de frase se marcan frecuentemente con el tronco, el tempo se percibe de alguna manera en la cadencia de movimiento, etc[28]. En este artículo diferenciamos gestos estéticos y comunicativos. La diferencia radica en que los primeros han de ser claros, unívocos y transmitir un significado a otra persona. Los segundos son abiertos, libres y no tratan de expresar significados concretos ni a otros miembros del conjunto instrumental ni a la audiencia. En su mayor parte, los controladores musicales se interpretan en solitario, aunque existen algunas excepciones en las que dúos o tríos ejecutan a la vez. Este carácter solista de los instrumentos digitales hace que se puedan observar un menor número de gestos comunicativos que en el caso de los instrumentos acústicos.
Movimientos contingentes (Peñalba 2008). Los instrumentos digitales, en general se interpretan con un alto grado de improvisación. Hay partes en las que el intérprete tiene un control casi total del resultado sonoro, pero en otras ocasiones prima más la gestualidad independientemente del sonido resultante. Cuando un intérprete (pongamos como ejemplo un bailarín en un entorno de danza interactiva) explora las posibilidades del instrumento, el sonido que produce el movimiento de su cuerpo le llevará a producir movimientos inspirados por ese sonido. Es decir, que aunque su cuerpo de alguna manera “produzca” el sonido, el propio sonido le guía para moverse con un tipo de movimientos determinados. Esto implica que sonido y movimiento guardan una relación contingente retroalimentada. La peculiaridad de los instrumentos digitales, que quizás no presentan los instrumentos acústicos es que los diseñadores se ven condicionados por esta contingencia a la hora de elegir los gestos que permitirán controlar el sonido del instrumento y a la vez el propio movimiento condiciona el resultado sonoro. Por ello, la arbitrariedad y libertad que teóricamente permiten los instrumentos digitales, en la práctica se ve restringida por este hecho. El abanico se limita para buscar resultados coherentes y de apariencia “natural”. En la interpretación de instrumentos acústicos, los movimientos contingentes pueden aparecer en contextos de improvisación en grupo. Sin embargo, existe una gran diferencia entre los movimientos contingentes de instrumentos digitales y acústicos. En la interpretación de instrumentos acústicos, el ejecutante siempre puede anticiparse al resultado sonoro que producirán sus gestos, algo que no es posible en los instrumentos digitales. Por tanto, en este aspecto, los instrumentos digitales aportan la novedad de lo imprevisible y en numerosas ocasiones las performances contienen un gran componente exploratorio e improvisatorio.
4. Reflexiones sobre las relaciones gestuales en los instrumentos digitales
Las relaciones gestuales que tienen lugar cuando un instrumentista interpreta un controlador presentan unas características particulares que difieren de aquellas que acontecen en la interpretación de instrumentos acústicos. En el caso de los controladores, dichas relaciones están condicionadas por la morfología del instrumento, los gestos que se asignan a los sonidos en el mapeado, el tipo y ubicación de los sensores, el sonido resultante, la presencia o ausencia de retroalimentación háptica, etc. Hasta ahora, hemos profundizado en algunos aspectos técnicos que nos permiten comprender en parte el tipo de gestualidad que implican. Sin embargo, aún quedan algunos interrogantes a debatir con respecto a las relaciones gestuales que permiten: ¿proporcionan innovadoras formas de expresión comparadas con los instrumentos acústicos tradicionales? ¿qué implicaciones tienen dichas relaciones gestuales? ¿condicionan su diseño? ¿pueden hacerse accesibles a más población? ¿aportan novedades estéticas al panorama musical contemporáneo? Abordaremos algunas de estas cuestiones tratando una serie de temas recurrentes dentro del ámbito de discusión de la interactividad física en el control de instrumentos digitales.
4.1. La interactividad: juegos entre control y aleatoriedad
La interactividad es la capacidad de control recíproco que tiene lugar entre el instrumento digital y el sujeto que lo interpreta. Los seres humanos aprendemos desde una edad temprana las relaciones causa-efecto que tienen lugar en la interpretación de instrumentos acústicos, es decir, la capacidad de control unidireccional que posee el intérprete sobre el instrumento. Los gestos instrumentales se traducen en la producción de sonidos específicos implicando unas relaciones causa-efecto que la audiencia percibe como naturales. Los controladores digitales buscan reinventar el control del intérprete, es decir, que una vez rota la unión gesto-música crean otra nueva, tratando de que sea coherente, natural, pero además que tenga interés artístico. Cuando dos estímulos se producen de forma simultánea en el tiempo y tienen aproximadamente la misma duración se perciben como causa-efecto. Si por ejemplo un bailarín interactivo mueve su mano en el plano vertical del espacio, de abajo a arriba y de forma simultánea se escucha un glisando ascendente, el espectador percibirá que ese sonido ha sido producido por el gesto del bailarín. Lo mismo ocurriría si este sonido en lugar de ser ascendente fuese descendente. Aunque este mapeado es menos habitual, las personas que lo escuchan tenderían a relacionarlo con el gesto del intérprete. Las posibilidades gestuales que ofrecen los instrumentos digitales son extraordinariamente amplias. Sin embargo, los diseñadores no siempre buscan recrear las relaciones causa-efecto. Demasiado control en la interpretación produce resultados artísticamente pobres, y unas conexiones entre sonido y gesto demasiado amplias producen en la audiencia la pérdida de la sensación de control: el oyente no tiene la impresión de que el sonido que escucha esté siendo manejado por el intérprete. Por esta razón, por lo general, los instrumentos digitales son interactivos: están diseñados combinando la capacidad de control unívoca gesto-sonido, con un amplio componente aleatorio en el que el intérprete no puede predecir el tipo de sonido que obtendrá con un gesto determinado. Esta es la verdadera interacción, en la que no sólo el músico tiene el control del instrumento, sino que en ocasiones las propuestas no dependen de él.
Una de las manifestaciones más novedosas en cuanto a la recreación de la sensación interactiva es la danza interactiva. Este tipo especial de danza utiliza la captura de los movimientos del bailarín en tiempo real y traduce dichos gestos a sonidos, normalmente pregrabados. El espectador tiene la sensación de que, en ocasiones, el sonido es producido por el movimiento del cuerpo del bailarín o bailarines en el espacio. En la danza tradicional, el bailarín ha de adaptar sus movimientos a una música dada de antemano, sin embargo, en la danza interactiva se introduce la posibilidad de que la persona que baila cree sonido con su movimiento. Algunos grupos que se dedican a la experimentación con danza interactiva son Robert Weschler y Weiss (2004) del grupo Palindrome, afincado en Alemania, Jaime del Val con su proyecto Reverso en Madrid, Kia Ng en Inglaterra (Ng 2002, 2003), o Seiya Tsuruta, Yamato Kawauchi, Woong Choi, Kozaburo Hachimura (2007), en Japón. Normalmente, capturan los movimientos del bailarín con una o varias cámaras de vídeo, y los procesan a través de programas específicos (EyesWeb, EyeCon, etc) que convierten dicha información en información numérica. A través de un programa de ordenador se puede hacer un mapeado entre la información gestual y sonidos pregrabados. Dicha conversión se produce en tiempo real, con lo que la interacción resulta muy efectiva.
La interactividad presenta dos caras: la capacidad de control, frente a las respuestas no previsibles del instrumento. La capacidad de control está construida de forma artificial, es decir, desligando los gestos instrumentales del sonido, convirtiendo movimientos ancillares en instrumentales e inventando nuevas relaciones entre gesto y música. Desde este prisma, la capacidad de control que proporcionan los instrumentos digitales es muy diferente de la que tiene lugar en los instrumentos acústicos. Por ejemplo, la danza interactiva invierte el proceso estético creando en el espectador una ilusión en la que el cuerpo, sin ningún tipo de soporte físico produce sonido. Algunos instrumentos musicales alternativos utilizan gestos en absoluto en sintonía con los sonidos producidos, creando contradicciones, sorpresas, comicidad y nuevos significados producidos por este solapamiento entre la modalidad gestual y la sonoro-musical.
Para que las relaciones entre el instrumento y el intérprete sean interactivas es necesario incorporar la tecnología. Uno de los problemas tecnológicos que repercute de forma directa en la interactividad es el delay. Para que dos estímulos (gesto y sonido) se perciban como causa-efecto deben sucederse casi simultáneamente en el tiempo. Los sensores y otros dispositivos envían señales en tiempo real y los ordenadores que los procesan emiten sus respuestas rápidas. En ocasiones, por ejemplo en el análisis de imágenes a través de cámaras, si las condiciones de luz no son las adecuadas o si el procesador no es lo suficientemente potente, se produce delay y la sensación interactiva se entorpece.
4.2. La libertad gestual
Gracias a la desvinculación gesto-música, los instrumentos digitales plantean nuevas posibilidades gestuales para la interpretación. La univocidad que caracteriza a los instrumentos tradicionales (un gesto produce un sonido) no es necesariamente una cualidad propia de los instrumentos digitales. Aunque los controladores basados en instrumentos acústicos siguen manteniendo reglas de relación gesto-sonido de uno a uno, otros instrumentos digitales permiten nuevos mapeados. Un mismo gesto puede producir varios sonidos en diferentes partes de la ejecución y diferentes gestos pueden producir el mismo sonido. La libertad con la que parten los diseñadores de instrumentos a la hora de idear su prototipo son muy amplias. Los gestos pueden ser claros y evidentes o sutiles. Sería posible diseñar un instrumento para una persona que tuviese una habilidad física determinada (de hecho, los controladores “tipo instrumento” están pensados para que utilizando la técnica del virtuoso del instrumento acústico se puedan controlar sonidos digitales). Es posible diseñar entornos de movimiento totalmente ergonómicos, es decir entornos que se manejen al máximo de rendimiento con el mínimo esfuerzo, etc. Se pueden diseñar instrumentos especiales para personas con alguna limitación física, de tal forma que aprovechen los movimientos funcionales para controlar el sonido (Peñalba y Wechsler, 2010). Existen incluso instrumentos digitales que se pueden controlar con casi ausencia de movimiento (como es el caso del BioMuse utilizado por Atau Tanaka). Con las posibilidades que el control a través de ordenador ofrece, se puede cambiar el mapeado de un instrumento incluso durante la propia interpretación en tiempo real. Esta práctica es bastante común, de tal forma que la relación gesto-movimiento cambia una o varias veces durante la performance. Esto posibilita la creación de múltiples significados y proporciona una estrategia muy interesante de variación combinando el lenguaje musical con el gestual.
No obstante, a pesar de que la libertad gestual es tan grande, los constructores de instrumentos se decantan por la utilización (al menos durante algunos momentos de la ejecución) de mapeados intuitivos y sencillos, donde las relaciones causa efecto se perciben claramente. Además, aunque el control del instrumento sin apenas movimiento es posible, se ha visto que la audiencia vive una experiencia más satisfactoria cuando el intérprete permite mostrar que controla de alguna manera la producción del sonido.
Además de la libertad gestual, dicha flexibilidad también se ve reflejada en otras posibilidades. Normalmente, los instrumentos acústicos permiten la acción de un solo sujeto, con algunas excepciones, como las piezas de piano a cuatro manos. Algunos instrumentos digitales están diseñados para ser interpretados por varios sujetos (por ejemplo el Soundnet[29] interpretado por Zbigniew Karkowski, Edwin van der Heide y Atau Tanaka). Otras instalaciones involucran incluso a la audiencia, como la instalación No Clergy[30] (Baird 2005) que implica la posibilidad de que la audiencia interactúe sobre la música que escucha). Desde el punto de vista morfológico, algunos instrumentos digitales son también novedosos. Los diseñadores recurren a diversos dispositivos que permitan contener de una forma lo más eficaz posible los sensores que recogerán los gestos pertinentes para la interpretación. En algunas ocasiones se utilizan guantes[31], sillas[32], chaquetas[33], arcos[34], etc.
4.3. La técnica y el aprendizaje
Aprender a interpretar un instrumento musical requiere de la adquisición de una técnica muy compleja que se consigue tras varios años de entrenamiento. Aunque la técnica es sólo el punto de partida de la interpretación es necesario un mínimo de control para poder tocar. Esta circunstancia ha dificultado el acceso a la práctica musical a personas con alguna discapacidad física, cognitiva o sensorial. Los instrumentos digitales, al permitir una amplia libertad de lenguajes gestuales pueden ser diseñados a través de controladores fáciles de manejar que permitan ser ejecutados por personas con discapacidad o personas que no pueden dedicar demasiado tiempo a la formación técnica. No obstante, otros controladores implican una gestualidad compleja y mucho entrenamiento. El perfil más frecuente que suelen presentar los intérpretes de instrumentos digitales combina, por lo general, su formación en informática y sus conocimientos de ingeniería (que les permiten cambiar los mapeados, detectar errores en el funcionamiento de los sensores, programar) con el dominio musical. No siempre se da esta circunstancia, ya que algunas casas comerciales diseñan controladores gestuales de uso popular, pero por lo general el constructor-intérprete se convierte en el único virtuoso de su instrumento y va diseñando varios prototipos a lo largo del tiempo en función de las necesidades de la interpretación que se planteen en relación a su propio cuerpo y a sus competencias motoras. A este respecto, por ejemplo Atau Tanaka (2000) indica que la verdadera identidad del uso del BioMuse surgió tras interpretaciones en contextos diferentes. Este hecho repercute de forma significativa en la génesis del instrumento; situación comparable con la tarea del luthier, que diseña un instrumento cuya morfología se va perfeccionando a lo largo de los siglos adquiriendo una forma más o menos fija.
4.4. Canales de retroalimentación
A diferencia de los instrumentos acústicos, los instrumentos digitales utilizan gestos arbitrarios, es decir, acciones que se asignan por acuerdo a través de las cuales se consiguen los resultados sonoros deseados, por ejemplo, accionar un botón o mover un joystick. Algunos instrumentos no requieren de soporte físico, o el soporte es limitado, como la danza interactiva o los instrumentos tocados en el aire (los lightning de Buchla, creados en 1991 y 1995, utilizan la emisión de infrarrojos para captar la posición, aceleración y velocidad de unas baquetas que se ejecutan sin contacto con ningún soporte). En ocasiones estos instrumentos resultan difíciles de interpretar ya que los ejecutantes están acostumbrados a la retroalimentación vibratorio-táctil. Gillespie (1999) y Cadoz (1988) consideran que la retroalimentación háptica, es decir, la percepción de dichas las vibraciones y la resistencia en la superficie del instrumento, favorece la habilidad de control del ejecutante. La información háptica es captada por ciertos receptores propioceptivos que se encuentran en nuestra piel, tendones y músculos y es fundamental para el control postural y del movimiento. Askenfelt and Jansson (1992) han mostrado que muchos instrumentos musicales producen vibraciones que son captadas por los mecanorreceptores de la piel. Por esta razón, algunos autores discuten la necesidad de incorporar estas sensaciones en los instrumentos digitales (Pedrosa and McLean 2008) y (O'Modhrain y Chafe 2000). El vBow, es una especie de violín virtual que incluye sensaciones hápticas de vibración para el intérprete (Nichols 2002). El Clavier Retroactif Modulaire (CRM), diseñado en la Association pour la Création et la Recherche sur les Outils d'Expressions (A.C.R.O.E. in Grenoble, Francia) liderado por Claude Cadoz et al. (1990) consiste en un teclado que simula un piano y también incluye retroalimentación háptica. Bongers añadió lo que denominó "Muscle Wire" a un guante para tener sensación de contracción muscular y Chafe (1993) y Chu (1996) han diseñado un sistema en un instrumento de viento metal que produce vibración en los labios y sensación táctil en cada llave.
Si se añade retroalimentación háptica a instrumentos que se tocan sin ningún tipo de soporte como la danza interactiva, la libertad de movimientos que ofrecía la supresión de cables y otros dispositivos se pierde al introducirlos para añadir este tipo de información. Además de la retroalimentación háptica, otros controladores añaden retroalimentación visual a través de luces, colores y formas que se proyectan en una pantalla o en el propio instrumento.
4.5. Demos y performances
Ya hemos mencionado que en muchos espectáculos donde se interpretan instrumentos digitales se concede un gran papel a la experimentación y la improvisación. Existen varios tipos de espectáculo: por un lado las demostraciones donde se explican las características constructivas del instrumento y después se hacen pequeñas demos; por otro, se siguen manteniendo los espectáculos más “cerrados” aunque en todos ellos, el carácter improvisatorio está presente. Los instrumentos digitales, debido a la posibilidad interactiva que ofrecen, no permiten que el intérprete pueda controlar el sonido resultante siempre y de forma totalmente precisa (salvo en algunas excepciones). Aunque suele haber partes de la “pieza” musical que están más definidas, en general otras son abiertas. En Peñalba (2008) se proponen tres tipos de planificación de la interpretación en los instrumentos musicales alternativos: la interpretación basada en el sonido, basada en el movimiento y contingente. Al igual que sucede con los instrumentos acústicos, existe un tipo de interpretación basada en el sonido, en la que el instrumentista reproduce un ideal sonoro que quiere conseguir con el instrumento y va adaptando sus movimientos para lograrlo. Otros instrumentos digitales, como los que reproducen la forma del instrumento acústico, utilizan programación basada en el movimiento. El intérprete, en este caso, se centra en una especie de coreografía gestual determinada (esto también es frecuente en la danza interactiva), donde el resultado sonoro es difícil de anticipar. Por último existe un tipo de interpretación basada en la contingencia. El sonido que escucha el intérprete en tiempo real lo encamina hacia determinado tipo de movimiento (con una flexibilidad, velocidad, y formas determinadas) y a su vez el tipo de gesto produce una clase de sonido concreto, resultado de la interactividad. Durante el desarrollo de un espectáculo se pueden observar procesos en los que el intérprete tiene toda la capacidad de control y otros donde el sonido resultante invita a la realización de un tipo de gestos determinado.
4.6. Usos y funciones
Los controladores digitales persiguen una función artística y se diseñan con el objetivo de crear nuevas relaciones entre el gesto y el sonido. No obstante, otros usos merecen ser contemplados. Ya hemos mencionados que el perfil de sus constructores se encuentra entre ingenieros informáticos, mecánicos o electrónicos con formación musical. En ocasiones, los objetivos tecnológicos priman sobre los artísticos. A veces, los controladores no están diseñados pensando en renovar lenguajes musicales, sino en crear relaciones gestuales sorprendentes desde el punto de vista técnico. En otros casos, el punto de partida es la música, no importando tanto si se aporta novedad técnica o no al instrumento, de hecho, en ocasiones, los instrumentos tecnológicamente más sencillos son los más eficaces. Como hemos mencionado con anterioridad, las personas con alguna discapacidad han tenido limitaciones en el acceso a la práctica musical. Las personas con discapacidad física se pueden beneficiar del diseño de controladores musicales que se adapten a sus posibilidades motoras. Personas con parálisis cerebral, atrofias musculares, hemiplejias o hemiparesias producidas por un accidente cerebro vascular, conservan movimientos voluntarios que se pueden adaptar al diseño de un nuevo instrumento. Además de esto, los propios instrumentos se pueden diseñar de tal forma que las capacidades motoras perdidas o limitadas se ejerciten con su uso. Por ejemplo, Camurri et al. utilizan el sistema eyesweb para mejorar la características de movimiento en enfermos de Parkinson (Camurri et al. 2003) o Schneider, et al. utilizan dispositivos musicales controlados con el gesto para mejorar las capacidades la motricidad en enfermos que sufrieron un infarto cerebral (Schnerider et al. 2003). Las personas con discapacidades cognitivas pueden acceder al estudio de instrumentos de sencillo manejo, que no requieran ni grandes implicaciones físicas ni cognitivas y las personas con discapacidad sensorial se pueden beneficiar de las numerosas posibilidades de feedback que se pueden añadir a los controladores gestuales: luces, formas geométricas, texto, etc. En este tipo de personas, quizás el objetivo último no es que se dediquen de forma profesional a la música, pero sí que puedan acceder a la interpretación musical de la forma más sencilla y ergonómica posible.
5. Conclusiones
El objetivo de este trabajo es ofrecer al lector una visión acerca de la gestualidad que un intérprete despliega en la interpretación de instrumentos digitales, comparándolos los gestos propios de los instrumentistas acústicos con el fin de identificar nuevos lenguajes gestuales y usos del cuerpo. Gracias al desarrollo tecnológico, cualquier gesto (independientemente de su función o intención) puede convertirse en sonido. Los controladores logran convertir en pertinentes movimientos que durante muchos años de historia de la música no lo han sido. Debido a la desvinculación del gesto y la producción de sonido que tiene lugar en los instrumentos digitales, el gesto adquiere mayor carga comunicativa. Si cualquier gesto puede accionar un sonido, el hecho de hacerlo a través de un botón, del equilibrio corporal o de una válvula adquiere unas connotaciones de significado mayores que en el caso de los instrumentos acústicos, en los que el gesto productor de sonido es indispensable. Los sensores recogen informaciones como la posición, la velocidad, la presión, la flexión o la cualidad del movimiento, de tal forma que casi cualquier sensación motriz o gestual puede tener significado. Para un violinista la posición de sus dedos sobre las cuerdas es determinante para controlar la afinación. Aunque puedan repercutir en el sonido resultante y en la técnica, otros aspectos como la posición del resto del cuerpo, la presión que ejercen sus dedos contra las cuerdas o la tensión muscular de su mano son secundarios. Un compositor-intérprete digital puede recrear sensaciones de tensión, de equilibrio, de presión, de posición, en una parte del cuerpo, en todo el cuerpo en general o en varias partes al tiempo. Esto es variable dependiendo del tipo de instrumentos, puesto que los controladores “tipo instrumento” permiten gestos tan acotados como su instrumento acústico de referencia (por ejemplo un teclado eléctrico). Los instrumentos alternativos son los dispositivos que permiten una mayor cantidad de movimientos, desde los que producen sonido y los que lo modifican, hasta otros gestos que se alimentan del sonido que escucha el intérprete. Los instrumentos digitales han permitido el desarrollo de algunos nuevos lenguajes gestuales que han sido ampliamente debatidos en este artículo. Es de especial relevancia la posibilidad que tienen los instrumentos digitales de permitir juegos entre las sensaciones interactivas y la no causalidad. Los constructores buscan reinventar dicha interactividad, es decir, otorgar al espectador la sensación de que el intérprete controla el sonido, pero no siempre buscando relaciones demasiado obvias. La libertad gestual que ofrecen los mapeados no radica tanto en la posibilidad de vincular cualquier gesto con cualquier sonido, sino en que ya no existe univocidad entre ambos. Con los controladores digitales un mismo gesto puede controlar varios sonidos o el mismo sonido puede producirse por varios gestos. La libertad gestual que ofrecen permite la posibilidad de adaptar instrumentos, gracias a que simplifican la técnica requerida, a personas con alguna limitación tanto física como sensorial o a una audiencia no especializada. Los conciertos de instrumentos digitales varían entre los muy cerrados y los totalmente improvisados, aunque aún no han llegado, en su mayor parte al gran público. Aunque los instrumentos digitales no aportan siempre novedades estéticas, en algunos aspectos proporcionan nuevas e interesantes vías de exploración del lenguaje musical contemporáneo, de sus usos y contextos y del rol del músico-compositor-intérprete-luthier.
Referencias
-
Askenfelt, Anders y Jansson, Erik. 1992. "On vibration sensation and finger touch in stringed instrument playing". Music Perception, Vol. 9, 311-348, 1992.
Baird, Kevin C. 2005. “Real-Time Generation of Music Notation via Audience. Interaction Using Python and GNU Lilypond”. Proceedings of the 2005 Conference on New Interfaces for Musical Expression, 240-241. Vancouver, Canada.
Bongers, Bert. 1994. “The use of active tactile and force feedback in timbre controlling electronic instruments”. Proceedings of the International Computer Music Conference, 171-174. Arhus, Denmark, 1994.
Bongers, Bert. 2000. “Physical Interfaces in the Electronic Arts. Interaction Theory and Interfacing Techniques for Real-time Performance”. En Trends in Gestural Control of Music, eds. Wanderley, Marcelo Mortensen y Battier, Marc. 41-70. Paris: Centre Pompidou, IRCAM.
Cadoz, Claude; Lisowski, Leszek y Florens, Jean-Loup. 1990. “Modular Feedback Keyboard”. Proceedings of the International Computer Music Conference, 379-382. Glasgow, 1990.
Cadoz, Claude. 1988. “Instrumental gesture and musical composition”. Proceedings of the International Computer Music Conference (ICMC 88), 1-12. Cologne, Germany, San Francisco: ICMA Press.
Camurri, Antonio; Mazzarino, Barbara; Volpe, Gualtiero; Morasso, Pietro; Priano y Federica; Re, Cristina. 2003. “Application of multimedia techniques in the physical rehabilitation of Parkinson's patients”. Journal of Visualization and Computer Animation, 14(5): 269-278.
Chafe, Chris. 1993. “Tactile audio feedback”. Proceedings of the International Computer Music Conference, 76-79. Tokyo, 1993.
Chu, Lonny. 1996. “Haptic feedback in computer music performance”. In Proceedings of the International Computer Music Conference, 57-58. Hong Kong, 1996.
Cook, Perry; Morril, Dexter, y Smith, Julius O. 1993. “A MIDI control and performance system for brass instruments”. Proceedings of ICMC, 130-133. Tokyo, 1993.
Davidson, Jane. 1994. “Expressive movements in musical performance”. Proceedings of the Third International Conference on Music Cognition (ESCOM), 327–329. Liege, Belgium.
Delalande, François. 1988. “La gestique de Gould. Éléments pour une sémiologie du geste musical“. En Glenn Gould pluriel, ed. G. Guertin, 83 -111. Montréal: Louise Courteau Editrice Inc.
Dobrian, Christopher y Bevilacqua, Frédéric. 2003. “Gestural Control of Music Using the Vicon 8 Motion Capture System”. Proceedings of the 2003 New Interfaces for Musical Expression (NIME) conference. Montréal, Canada.
Dobrian, Christopher. 2001. “Aesthetic Considerations in the Use of ‘Virtual’ Music Instruments”. CHI Workshop on New Interfaces for Musical Expression. Seattle, USA, 2001.
Gillespie, Richard Brent 1999. “Introduction to Haptics”. En Music, Cognition, and Computerized Sound: An Introduction to Psychoacoustics, ed. Perry R. Cook, 229-245. MIT Press Cambridge, MA, USA.
Godøy, Rolf Inge; Haga Egil y Jensenius, Alexander Refsum. 2006. “Playing "air instruments": Mimicry of sound-producing gestures by novices and experts”. En Gesture in Human-Computer Interaction and Simulation: 6th International Gesture Workshop, eds. Gibet Sylvie; Courty Nicolas y Kamp, Jean-François. 256–267. Berder Island, France, May, 2005.
Gold, Rich. 1992. “It’s Play time, Fun and Games with Interactivity”. En.
Cyberarts, Exploring Art & Technology, ed. Miller Freeman, coord. Jacobson, Linda. 196-202. San Francisco: Backbeat Books.Impett, Jonathan. 1994. “A Meta-Trumpet(er)”. Proceedings of the International Computer Music Conference, International Computer Music Association, 147-150. San Francisco, USA, 1994.
Impett, Jonathan. 2003. “Gesture, space and representation in the late works of Luigi Nono”. Proceedings of the International Conference Music and Gesture, 28-Norwich, Inglaterra, 2003.
Jensenius, Alexander R. 2007. ACTION – SOUND. Developing Methods and Tools to Study Music-Related Body Movement. Tesis de doctorado. Departamento de Musicología. Universidad de Oslo.
Jordá, Sergi. 1997. Audio digital y MIDI. Guías Monográficas. Madrid: Anaya Multimedia.
Mauléon, Claudia. 2010. El gesto comunicativo del intérprete. Actas de la IX reunion de la SACCoM, 98-106.
Mulder, Axel G.E. 2000. “Towards a choice of gestural constraints for instrumental performers”. En Trends in Gestural Control of Music, eds. Wanderley, M. And Battier, M. eds., 315-335. Paris: Centre Pompidou, IRCAM.
Ng, Kia. 2002. “Sensing and mapping for interactive performance”. Organised Sound, v.7 n.2: 191-200.
Ng, Kia. 2003. “Virtual and augmented musical instruments”. Proceedings of the International Conference Music and Gesture. Norwich, 28-31 August 2003.
Nichols, Charles. 2002. “The vBow: Development of a Virtual Violin Bow Haptic Human-Computer Interface”. Proceedings. of the New Interfaces for Musical Expression Conference (NIME 2002), 168-169. Dublin, Ireland. Ver: http://www.mle.ie/nime/.
O'Modhrain, Sile y Chafe, Chris. 2000. "Incorporating Haptic Feedback into Interfaces for Music Applications". Proceedings of ISORA, World Automation Conference 2000.
Palacio-Quintín, Cléo. 2003. “The Hyper-Flute”. Proceedings of the New Interfaces for Musical Expression (NIME) Conference. Montreal, 2003.
Pedrosa, Ricardo y MacLean, Karon. 2008. "Using Haptic Feedback to Share Control with a Smart System". Proceedings of Poster in Graphics Interface (GI 2008). Windsor, Ontario, Canada, May 2008.
Peñalba, Alicia y Wechsler, Robert. 2010. Danza interactiva en niños con parálisis cerebral. Actas del XXVII Congreso de la Asociación Española de Logopedia, Foniatría y Audiología. Valladolid. Julio 2010, 129-137.
Peñalba, Alicia. 2008. El cuerpo en la interpretación musical. Un modelo teórico basado en las propiocepciones en la interpretación de instrumentos acústicos, hiperinstrumentos e instrumentos alternativos. Tesis de doctorado. Publicaciones digitales: Universidad de Valladolid. http://uvadoc.uva.es/handle/10324/55
Pousset, Damien. 1992. La Flute-midi, L'histoire et Quelques Applications. Tesis de doctorado. Universite Paris – Sourbonne, 1992.
Roads, Curtis. 1985. Composers and the Computer. William Kaufmann, Inc.
Risset, Jean Claude y Van Duyne, Scott C. 1996. “Real time performance interaction with a computer controlled acoustic piano”. Computer music journal, 20, nº1: 62-75.
Rovan J. and Hayward, V. "Typology of tactile sounds and their synthesis in gesture-driven computer music performance". En Trends in Gestural Control of Music, eds. M. Wanderley and M. Battier, 297-320. Paris: IRCAM.
Schneider, S.; Schönle, P.W.; Altenmüller, E; Münte, T.F. 2006. Using musical instruments to improve motor skill recovery following a stroke”. Journal of Neurology xx: 1-9.
Seiya Tsuruta, Yamato Kawauchi, Woong Choi, Kozaburo Hachimura (2007), "Real-Time Recognition of Body Motion for Virtual Dance Collaboration System," icat, 23-30. 17th International Conference on Artificial Reality and Telexistence (ICAT 2007).
Tanaka, Atau. 2000. “Musical Performance Practice on Sensor-based Instruments”. En M. Wanderley and M. Battier, eds. Trends in Gestural Control of Music. Paris: Ircam - Centre Pompidou.
Vergez, Cristopher. 2000. Trompette et Trompettiste: un système dynamique non-linéaire analysé, modélisé et simulé dans un contexte musical. PhD thesis. Universite Paris VI.
Waisvisz, Michel. 1985. “The Hands, a set of Remote MIDI-controllers”. Proceedings of the International Computer Music Conference, 313-318. International Computer Music Association, San Francisco.
Wanderley y Depalle. 2004. “Gestural control of sound síntesis. Proceedings of the IEEE, vol. 92, no. 4, April, 2004.
Wanderley, Marcelo M.; Vines, Bradley; Middelton, Neil; McKay, Donald y Hatch, Cory 2005. “The Musical Significance of Clarinetists’ Ancillary Gestures: An Exploration of the Field”. Journal of New Music Research, vol. 34, n1: 97-113.
Wechsler, R., Weiss, F. 2004. "Motion Sensing for Interactive Dance", IEEE-Pervasive Computing, Mobile and Ubiquitous Systems, IEEE Computer Society publications, Jan-March 2004.
Wechsler, Robert. 1995. “Analysis on ‘Reversals’. Cunningham Dance Technique, Issues Concerning the Perception of Symmetry in Dance”. Proceedings of the International Dance and Technology Conference (IDAT95), Vancouver, BC, Canada.
Wechsler, Robert .1997. “O, body swayed to music…(and vice versa)” Leonardo Magazine, MIT Press, Vol. 30, No. 5: 385-389.
Wechsler, Robert; Weiss, Frieder y Dowling, Peter. 2004. “EyeCon, a motion sensing tool for creating interactive dance, music and video projections” Proceedings of the Society for the study of Artificial Intelligence and the Simulation of Behavior (SSAISB)’s convention: Motion, Emotion and Cognition. University of Leeds, Leeds, England, March 29, 2004.
Ystad, S. y Voinier, Th. 2001. "A Virtually Real Flute". International Computer Music Journal (MIT Press), 25(2): 13-25.
Notas
-
[1] Se considera que el movimiento de un sujeto implica desplazamiento espacial, una acción va encaminada a conseguir una meta, un objetivo y un gesto implica la expresión de un significado o una intención (Mauleón, 2010).
[2] En ocasiones los controladores pueden medir ondas cerebrales, pulso cardíaco, conductancia de la piel, etc., todas estas respuestas no requieren gesto, movimiento o acciones por parte del intérprete.
[4] El objetivo de este artículo no es describir exhaustivamente cada uno de los controladores gestuales que se mencionan, por lo que remitimos al lector a un link donde se pueden consultar las características técnicas de cada uno.
[10] El “radio baton”, es un controlador con la forma de un instrumento de percusión que permite,< a través de un ordenador, relacionar los golpes de la baqueta con cualquier salida de audio. Posee dos baquetas cuya posición es detectada a través de campos magnéticos en laposición horizontal, vertical y profunda del espacio.
[16] Para el estudio en profundidad de la síntesis sonora ver Curtis Roads (1985).
[17] Es el caso del desarrollo instrumental que se lleva a cabo en el grupo de tecnología musical de la Universidad McGill de Montreal Canadá.
[20] Concepto acuñado por Wanderley et al. 2005.
[23] La danza interactiva utiliza cámaras de vídeo para capturar los movimientos de un bailarín que se traducen a sonidos a través de un mapeado por computador. El grupo Palindrome, con sede en Nuremberg, está formado por un grupo interdisciplinar de coreógrafos, músicos e ingenieros cuya labor experimental se desarrolla fundamentalmente en este ámbito.
[27] Del inglés ancillary, de segunda importancia.
[28] Jensenius (2007) incluye este tipo de gestos en la categoría de gestos comunicativos aunque para él algunos gestos estéticos podrían pertenecer también a esta categoría. Este autor clasifica los movimientos comunicativos en tres categorías: endógenos, cuando pretenden comunicar la estructura de la música, intérprete-intérprete, en las performance grupales o intérprete-audiencia, todos aquellos gestos a los que hemos hecho referencia en el punto anterior.
[31] El Blue Glove: https://ccrma.stanford.edu/~kuangzn/250A/glove.html, el Lady´s Gloves de Leticia Sonami, o el guante de Wart Wamsteker.
[32] Un ejemplo, es el controlador con forma de silla. Ver: http://www.faqs.org/patents/app/20090288548
[33] Ver la Musical Jacket: http://opera.media.mit.edu/levis/
Top >
