La Imagen del Sonido (V): Las Imágenes Sonoras o la "Música Visual"

Sobre las relaciones y analogías entre sonido, -percibido como abstracto y aparentemente inmaterial- y la imagen -percibida como real y concreta, como materia visual y dimensional- se han establecido un sinfín de conexiones, teorías y prácticas que las relacionan, a lo largo de la historia de las artes visuales y multimedia, principalmente desde comienzos del siglo XX. El propósito de este breve estudio, es manifestar algunas de ellas, mostrando hechos concretos y características, que contextualizan ciertas propuestas de algunos artistas, que exploran los vínculos y analogías entre lo sonoro y su dimensionalidad visual, agrupadas dentro de lo que podría denominarse como Transducciones sonoro-visuales.

Por Mikel Arce Sagarduy - Profesor titular del Dpto. de Arte y Tecnología de la Facultad de Bellas Artes

En la conferencia Transducción entre sonido e imagen en procesos de composición, el artista y compositor, Carlos López Charles (2009) señalaba que "De la misma forma en la que la corriente eléctrica de un cable conectado a una bocina varía proporcionalmente con los sonidos que emanan de ella pero no guardan ninguna otra semejanza con ellos, también nuestras sensaciones varían proporcionalmente (y no necesariamente de manera directa) con aquello que las causa. Esto quiere decir que los sonidos e imágenes que percibimos son construcciones realizadas a partir de las señales sensoriales que llegan a nuestro cerebro y que los estímulos que producen nuestras sensaciones no tienen en sí ni timbre, ni color, ni textura, etc. En resumen, tanto los sonidos como las imágenes que percibimos como sus propiedades son elaboraciones subjetivas de nuestras mentes".

Partiendo de esta evidencia de que sonido e imagen son dimensiones diferentes asumimos que no existirá nunca una absoluta correspondencia entre lo sonoro y lo visual, todo dependerá de un proceso subjetivo: medio empleado para su transducción, factores externos, propios del espectador como su capacidad de abstracción, efectos sinestésicos, etc.
Las semejanzas o analogías entre lo visual y lo sonoro, y sus metáforas siempre han formado parte de nuestra experiencia, pero sin embargo en nuestro sistema sensorial, lo que percibimos por el canal visual, se constituye en protagonista de la aprehensión del mundo, sobre esto, la investigadora Lucía Santaella, (2001, p. 11) señala: "...La característica primordial del lenguaje visual está en la insistencia con que las imágenes singulares, aquí y ahora, se presentan a la percepción. Ver es confrontar algo, aunque ese algo sea una imagen mental u onírica. Aliada a su carácter perceptivo, el lenguaje visual tiene una vocación referencial, lo que lo categoriza como signo básicamente indicial. Ya que el lenguaje sonoro tiene un poder referencial fragilísimo, aliado a un alto poder de sugestión, lo que lo pone en el universo icónico, de las más puras asociaciones por semejanza..." La palabra analogía proviene de la palabra griega αναλογíα (ana -reiteración o comparación- y logos, razón) De esta manera analogía significa comparación o relación entre varias razones o conceptos. la palabra analogía es asociada comúnmente a la semejanza, pero la semejanza no es únicamente la relación de conveniencia entre las cosas que se entienden como semejantes sino también lo que lo diferencia, es decir, se le llama semejante porque además de tener algo en común tienen algo distinto, es decir que se trata de una semejanza imperfecta, y esto es propio de la analogía, y en el caso de la imagen y el sonido, las asociaciones por semejanza y comparación, han estado presentes y han sido objeto de relación, principalmente desde la aparición de los primeros medios audiovisuales.

El compositor y miembro fundador del grupo ZAJ, Ramón Barce, considera, en su artículo Entre plástica y música (1964), recogido en el libro Las palabras de la música: Escritos de Ramón Barce (Juan Francisco de Dios Hernández y Elena Martín, 2009, p. 153 – 158), que se pueden establecer cuatro tipos de relación entre el arte sonoro y el visual: a) música y pintura, b) estructuras superpuestas, c) música visual y d) pintura musical.
La primera es entendida como las asociaciones independientes de la música y las artes plásticas, que coinciden en su época y movimiento artístico, (Debussy y el impresionismo, Bach y el gótico, etc.) pero no comparables, ya que en la música no hay elementos visuales mientras la plástica es enteramente visual Las estructuras superpuestas, son referidas a aquellas que se coordinan desde una estructura sonora autónoma a otra visual, así mismo autónoma, dando lugar a un complejo intelectualmente homogéneo, en forma de espectáculo mixto: ballet, ópera, drama musical, etc. Al tratarse de una suma de diferentes elementos, se origina un nuevo concepto que lo hace comprensible, siendo éste su “argumento”. En consecuencia, tanto la forma musical como la forma plástica dejan de tener autonomía formal y sólo pueden comprenderse a partir del argumento y, por lo tanto, música y plástica quedan ahora supeditadas a este nuevo parámetro conceptual.
Para la música visual, Ramón Barce parte de la definición clásica de la música, en la que se barajan dos términos fundamentales: el sonido y la organización temporal, y llega a la conclusión de que todo sonido no organizado en el tiempo no puede ser considerado como música, al igual que toda organización temporal que no esté hecha con sonidos tampoco puede ser música. Haciéndose necesario introducir una nueva definición del término que contemple lo visual lo visual como estructura interna de la música: «Música es una organización temporal abstracta en la que pueden (o no) intervenir sonidos en proporción variable. Por “abstracto” entendemos aquí aquellas expresiones que no representan secuencias conceptuales o causalidades descriptivas en las que esté explícita una causalidad teleológica» (Barce, 1964, p. 155)

Finalmente, Barce, plantea que al igual que la música cruza la frontera de la plástica, la plástica puede cruzar la frontera de la música intentando incorporar la organización temporal a su estructura, como se aprecia en la composición musical que realiza para el cortometraje Espectro Siete (1972) del realizador Javier Aguire, y que forma parte de una serie de ocho cortometrajes que realizó entre 1967 y 1971, con el título global de Anticine. En éste, desarrolla a partir de la teoría del efecto Döppler, una relación entre los colores y los sonidos en base a este efecto, elaborando su guion cromático y siendo el responsable final de la ordenación concreta de los colores y de su ritmo visual, como señala Javier Aguire (1972, p. 56): «el ritmo viene dado exclusivamente por la duración de las secuencias, y cada secuencia es un color que satura la pantalla.

La alternancia de duraciones produce un sistema rítmico. La alternancia de colores otro sistema.
La combinación de ambos da como resultado un "ritmo visual puro".
Sobre estas asociaciones, el artista y teórico de la comunicación Peter Weibel (1987, p. 53), razona, que estas relaciones analógicas y su búsqueda, van más allá de la mera comparación, y complementación mutua, constituyéndose en otro nuevo medio: "El sueño de una música de colores para el ojo o una música tonal para el oído ha sido quizás la utopía estética más generalizada de la historia del arte y compartida por igual por buena parte de las prácticas experimentales de la literatura, la pintura y la música. Esta especie de música visual podría definirse como una forma de arte dinámica, con combinación de materiales musicales y visuales, es “la extensión visual de las notas. Cuando el sonido y la imagen trabajan juntos, los medios trascienden a un nuevo tercer medio".
Debemos de tener en cuenta también, lo relativo a la experiencia sinestésica, nos referimos a las sensaciones perceptivas que bajo el nombre de sinestesia (1) se describen como capacidades implícitas y latentes en todos los individuos, que permiten estimular un sentido en base a otro o percibirlo por la estimulación de uno de ellos.

La palabra "sinestesia", al contrario que "anestesia" (ninguna sensación), se refiere a la "unión de sensaciones",
significando que ciertas personas experimentan sentidos y sensaciones combinadas: por ejemplo, ver colores mientras se escucha una música o apreciar sabores cuando alguien habla, aunque sólo en un uno por ciento de las personas se manifieste abiertamente .
(2)
Richard. E. Cytowic, uno de los autores que más han estudiado el efecto sinestésico, comprobó que la sinestesia es una experiencia muy común y que en algunos individuos se expresa de forma concreta, directa y consciente.
Sucede que para algunas personas -los sinestetas- la experiencia de la sinestesia es más que una experiencia que ocurre dentro de sus cerebros; también se manifiesta como una percepción de algo fuera de su cuerpo, de forma que realmente pueden ver sonidos u oír colores. "La sinestesia es una experiencia concreta y directa que se siente..., no tiene ningún significado aparte de este" (Cytowic, 1993, p. 93)
En el proceso del sinestésico, referido a las sensaciones visuales correspondientes a los sonidos escuchados, el oyente crea y genera mentalmente imágenes, otorgando una dimensionalidad o un atributo físico aparentemente más real que la sensación abstracta del sonido: "(En casos de audición-cromática) las formas visuales no son distintas a lo que se oye, son parte de lo que es oír. Si el instrumento musical del vibráfono hace un sonido redondo, cada nota es como una pequeña bola dorada que cae, nunca como otra cosa" (Cytowic, 1981).
El pintor Wassily Kandinsky basó parte de su obra en su propia experiencia sinestésica tomando modelos musicales como referencia para construir su propia gramática visual, aplicando al arte visual las conclusiones de sus experiencias sensoriales en el color y el sonido. Para él, los tonos graves se corresponden con los colores más oscuros, mientras que los agudos lo harán con los más claros. Esta asociación es muy habitual cuando se pide a un grupo de personas que relacionen los colores con las notas musicales.

Fig. 1

Kandinsky, dejó en sus escritos referencias muy claras sobre su condición sinestésica: "...tendremos que admitir también que la vista no sólo está en relación con el sabor, sino también con todos los demás sentidos. Y así ocurre, en efecto. Algunos colores parecen ásperos y erizados, y otros son como pulidos y aterciopelados e invitan a la caricia (como el azul ultramarino oscuro, el verde óxido de cromo, el barniz de granza). Hay colores que parecen blandos (el barniz de granza) y otros que parecen tan duros (el verde cobalto, el óxido verde-azul) que al salir del tubo ya parecen secos. Es corriente, por otra parte, la expresión colores fragantes. Finalmente, la cualidad acústica de los colores es tan concreta, que a nadie se le ocurriría reproducir la impresión que produce el amarillo claro sobre las teclas bajas del piano, o describir el barniz de granza oscuro como una voz de soprano" (Kandinsky,1911, p. 44). A lo largo de la historia, tratando de buscar la representación de lo sonoro, los artistas, han intentado buscar una correspondencia dimensional y visual, a la sensación sonora. Rembrandt, en su cuadro La Ronda de Noche (1641-42), representa el momento exacto en el que el capitán de la compañía da el orden de avanzar, convocando a los guardias a tomar su posición, mediante un tamborilero llamando a las armas, y a los niños y los perros ladrando y corriendo. Todo el mundo se dispone a llegar a su lugar. A pesar de que se trataba de un lienzo, incorporó, a través de la pintura, la representación y la sensación del sonido. Definiéndose así a esta pintura como "estruendosa por el sonido del tambor y los mosquetes, el ruido sordo de las baquetas, los ladridos de los perros, y los gritos de niños" (Walter Wallace, 1968, p.107-111).

Otros artistas como Franz Kupka, Paul Klee, y principalmente algunos futuristas, expresaron en sus obras pictóricas lo sonoro junto a otras sensaciones, como el movimiento o la velocidad. Uno de los futuristas italianos más importantes, Giacomo Balla, creó un sistema de símbolos para expresar la velocidad y el sonido de la nueva maquinaria moderna, creando equivalencias visuales para todas las manifestaciones técnicas de la propulsión del coche: luz, velocidad, ritmo y sonido, en su obra Velocidad abstracta + Sonido, (Fig. 1) expresando las reverberaciones acústicas del motor y del claxon del coche mediante una secuencia de pequeñas cruces (Anna Moszynska, 1990, p. 31). Estas creaciones pictóricas, realizadas desde un enfoque sinestésico, en la que las percepciones sensoriales, sus cambios e intercambios, se cruzan y mezclan, formó parte de uno de los conceptos fundamentales del arte futurista, así como de otros movimientos artísticos como la abstracción, en la que algunos de sus miembros, han sido estudiados y reconocidos, como el caso de Kandinsky, y otros, aunque no lo están, muestran claras evidencias de un enfoque perceptivo de esta facultad sinestésica. (Kupka, Klee).

Fig. 2

Y  algunos,  exploraron maneras más formalistas de relacionar color y sonido, como el compositor Matthias Hauer, con su círculo sonocromático, (1919) en el que presentó de manera concisa la concordancia sinestésica entre un espectro de doce colores  y la escala dodecafónica, en  un diagrama   dividido  en doce segmentos (Fig. 2), en el que plasma «una síntesis sin fisuras de las relaciones armónicas que afectan a la par a la escala cromática y al espectro de colores, haciendo  coincidir  el  do  natural,  con  un  verde  claro,  el  do  sostenido  con  un violeta, el re con el anaranjado, etc.» (Javier Arnaldo, 2013, p. 33).

Así, artistas, músicos e investigadores han tratado de buscar correspondencias visuales desde múltiples enfoque trazando vínculos y conexiones entre sonido imagen y forma, con resultados a veces muy sorprendentes, evidenciándose que se pueden establecer múltiples analogías físicas, entre lo sonoro y lo visual. En lo que respecta a estas relaciones más físicas y formales, es decir las que buscan una respuesta visual y lógica correspondiente a su naturaleza vibratoria, comprobamos que las ondas sonoras, se pueden visualizar de muchas maneras, y además estas pueden dejar su huella en la materia. Hoy en día y gracias a la tecnología informática, esta visualización se convierte en un proceso simple, pero podemos encontrar en la historia variadas aproximaciones en busca de una correspondencia entre la imagen y el sonido.

En esta historia de la también llamada música visual, podemos encontrar diferentes ejemplos, que tienen relación, avanzan y se perfeccionan con los desarrollos tecnológicos, que pretenden unir la experiencia sonora y lo visual en un plano físico, y que aparecen ya en el siglo XVIII con las teorías y experimentos del padre jesuita Louis-Bertrand Castel, un matemático y físico francés, que conocía la teorías de Newton y criticaba sus postulados de la física de los colores, y que defendía firmemente que existía una relación directa entre los colores del arco iris y las siete notas musicales. (Claude Lévi-Strauss, 1994, p.91). Castel pensaba que las vibraciones producen color, igual que sonido, así que llegó a la conclusión que el color y el sonido mantenían analogías, lo que lo llevó a teorizar sobre el Clavecín Ocular, que mostraría colores en relación con las notas musicales. Originalmente era sólo una teoría, pero el escepticismo de la crítica lo empujó a pasarse 30 años intentando construir su invento. El clavicordio ocular de Castel consistía en un marco con ventanitas de cristal de diferentes colores colocado sobre un clavicordio normal. Al presionar cada tecla, se veía un parpadeo del color asociado. En 1754, Castel construyó una segunda versión que funcionaba con 500 velas y espejos, ofreciendo luz suficiente para un público mayor.

Fig. 3

La búsqueda de un sistema para fijar las vibraciones sonoras, o las huella sonora, también parte de la idea de representar visualmente el sonido, en este caso de una manera más científica y llevó a Eduard León Scott de Martinville, en 1857 (Patrick Feaster, 2010, p43-44), a concebir y construir un mecanismo, para transcribir sonidos vocales, años antes de la aparición del Fonógrafo de Edison, (que lo que hacía también era dibujar/grabar las ondas sonoras, para poder ser luego reproducidas. Su propósito era imitar el funcionamiento del sistema auditivo en un aparato mecánico, sustituyendo el tímpano por una membrana elástica y los osículos (Cadena de huesecillos) por una serie de palancas, que movían un estilete que presionaría en una superficie de papel, madera o vidrio cubierta por negro de humo, y lo denominó Fonoautógrafo. Los dibujos sonoros resultantes no eran audibles, pero en el año 2009, se logró su reproducción a partir de ellos, mediante un escaneado de alta resolución. En la actualidad Investigadores de la Universidad de Berkeley, acaban de recuperar también, partiendo de un sistema básicamente similar, la voz de Graham Bell, La grabación se hizo en 1885 en un disco de cartón cubierto por parafina y demasiado frágil para ser reproducido. El disco fue preservado en los archivos del museo Smithsonian en Washington, hasta que los avances en la conversión digital le permitió al equipo de la universidad de Berkeley, el Museo Nacional de Historia Estadounidense y la Biblioteca del Congreso extraer el sonido utilizando un escaneo en 3D. Ahora se puede escuchar a Bell diciendo "En fe de lo cual oyen mi voz, Alexander Graham Bell".

Fig. 4

Tanto los dibujos de Scott de Martinville, como la grabación de Graham Bell, perseguían fundamentalmente, la representación gráfica del sonido, y con diferentes procedimientos, obtuvieron analogías bidimensionales de él, es decir incisiones o raspaduras de mayor o menor intensidad gráfica en función del sonido recibido y que quedó fijado en un soporte.

Solo la imagen fijada sobre estos soportes, y su analogía con respecto al sonido original, ha permitido más de cien años después obtener y reconstruir las voces de Scott de Martin Ville y Graham Bell constituyéndose así en los documentos sonoros más antiguos que existen (Fig. 3 y 4).

Fig. 5

Los órganos de color capaces de producir una música visual, siguieron siendo objetivo  de  diferentes  propuestas  artísticas  fundamentalmente  durante  la primera  mitad  del  siglo  XX,  que  con  un  desarrollo  técnico  más  avanzado, reproducían  mejor  la  idea  original  de  Castel.  Destacamos  algunas  de  entre todas ellas:  En  una  búsqueda  de  asociaciones  lumínicas  y  cromáticas  con  lo  sonoro,  en 1893  el  pintor  británico  A.  Wallace  Remington  inventó  un  órgano  de  color, provisto de  un teclado que  proyectaba  colores en una  pantalla al tiempo que sonaba una música (Fig. 5), lo que provocó la atención, de compositores de su época entre ellos el de Richard Wagner.

Algunos  autores (William Moritz, 1997), asocian su instrumento a las luces  móviles que acompañaron el  estreno en Nueva York de Alexander Scriabin y su  sinfonía sinestésica. Prometeo: un poema de fuego (1915) que Scriabin concibió como un espectáculo de música visual (3),  para la premier de la sinfonía sinestésica (4) Prometeo: un poema de fuego”. Scriabin quería que todo el público llevase ropa blanca para que las proyecciones de color invadiesen al igual que la música todo el espacio de representación. (Ana María Sedeño, 2004). Sin embargo fue el técnico Alexander Mozer, con quién Scriabin trabajó en los meses previos al estreno de Moscú, para construir una tastiera per luce  (teclado  de luces), un teclado eléctrico de luces coloreadas que esperaban  pudiera igualar a la orquesta. Una versión de este instrumento, (Fig. 6), se  exhibe en el Museo Estatal de Scriabin en Moscú. Los experimentos privados  de  Scriabin  con este teclado le dieron una impresión favorable, pero finalmente decidieron retirar el instrumento de la premiere pública debido a no especificadas “dificultades técnicas”. Como señalan Anna M. Gawboy y Justin Townsend (2012, p.1-20).

Fig. 6

Durante el siglo XX encontramos también otras maneras de buscar la realidad visual, correspondiente
a la sensación abstracta del sonido. Cómo son las  propuestas experimentales de Ludwig Hirschfeld-Mack y sus experimentos con luces coloreadas, y las de los norteamericanos Thomas Wilfred en los años 20 y Charles Dockum con sus Clavilux y Mobicolor, respectivamente. (5) El deseo de poder intervenir y adecuar lumínicamente el ambiente en una sala de conciertos llevó también a la inventora y pianista norteamericana María  Hallock-Greenewalt a experimentar con la modulación de luz y el color, creando una máquina automatizada, que denominó,Visual-Music Phonograph (1919) donde
luces de colores se sincronizarían con los registros previamente  grabados. Creo también un órgano de color llamado Sabaret (Fig. 7) y que fue mejorándolo entre 1916 y 1934, que incluía una particular notación especial  que  registraba la intensidad produciendo una serie de luces de diferentes colores para cualquier composición musical. 

En la década de los veinte Schwerdtfeger Kurt-Ludwig y Hirschfeld Mack , estudiantes de la Bauhaus, construyeron su propio proyector, al que denominaron Reflectorial Color Play , mediante paneles que eran manipulados a mano para crear proyecciones de formas geométricas en varios colores, de acuerdo a un score o pieza musical.

Fig. 7

Oskar Fischinger, por su pate presentaba el Lumigraph, a finales de 1940 que no era exactamente un órgano de color, su teclado activaba bombillas coloreadas que proyectaban sus colores y sus combinaciones, generando formas abstractas. Fischinger esperaba hacer del Lumigraph un producto comercial, disponible para cualquier persona, siendo un invento que llamó mucho la atención, pero no encontró apoyo comercial para su manufactura y sólo lo usó para realizar algunas presentaciones de en museos y eventos de interés, como señala el teórico William Moritz, en el artículo The Dream of Color Music, And Machines That Made it Posible (1997). Moritz, además, habla también de la influencia de los órganos de color en el cine de vanguardia: "El sueño de crear una música visual comparable a la música auditiva encontró su cumplimiento en películas abstractas animadas por artistas como Oskar Fischinger, Len Lye y Norman McLaren, pero mucho antes que ellos, otras personas al igual que Fischinger, construyeron instrumentos, generalmente llamados "órganos de color," que mostraban la luz y su color modulados en algún tipo de forma fluida, comparable a la música"
Moritz, sugiere que las experiencias cinematográficas que tenían a esta técnica como base de la experimentación sonocromática, surgieron de otras anteriores búsquedas que utilizaban modificaciones en los teclados de los órganos, para producir con ellos esa forma primitiva de música visual.

Fig. 8

El artista dada Raoul Hausmann a su vez, desarrolló un método de notación fonética a que denominó optofonética que utilizaba diferentes variaciones  tipográficas.
En 1922, presentó, así mismo, el proyecto para su Optófono,  aparato  que pretendía convertir las señales sonoras en señales luminosas y  viceversa, (6) que en la práctica nunca llegó a concluir.

En una carta (Jacques Donguy, 2000, p. 55-60), que dirigía al poeta y compositor Henri Chopin el 23
de junio de 1963, Raul Haussman  escribía: "Quisiera atraer vuestra atención sobre el hecho de que a partir 1922 desarrollé la teoría del optófono, aparato que transforma las formas visibles en sonoridad y viceversa. Tenía una patente inglesa "Proceso para combinar números sobre una base fotoeléctrica" lo cual, era una variante de este aparato y al mismo tiempo el primer robot. Para construir el optófono, sólo me faltaba el dinero"
A  partir de esta patente del Optófono, el artista francés Peter Keene, ha  reconstruido  y reinterpretado la idea de  Hausmann en una serie  de  obras tituladas Raul Hausman Revisited y producidas entre los años 1999 y 2004 en  las que mediante diversos dispositivos electrónicos y sistemas análogos al  proyecto de Hausmann da forma a su máquina imaginada (Fig. 8).

Por su parte, el pintor Lazslo Moholy-Nagy sugirió el proceso inverso, es decir, que los sonidos fueran dibujados sobre la banda sonora (Thomas Levin, 2003), Es decir, Moholy-Nagy reconocía la tecnología de la película con sonido óptico como una innovación importante en la grabación de sonido, sobre todo porque esta nueva forma de inscripción acústica podía hacer posible lo que siempre  había  sido tan frustrante y difícil de alcanzar en el ámbito gramofónico: el acceso a la huella del sonido. Además de investigar en el "realismo acústico" (es decir, los sonidos existentes grabados), insistió en la  importancia  de  experimentar en el uso del sonido no producido desde la realidad sonora, es  decir trazado o dibujado directamente en la pista de sonido y luego traducido a sonido
real en el  proceso  de proyección.
Así, para Nagy, no será posible el  desarrollo  de las posibilidades creativas del audiovisual, hasta que se haya  dominado el alfabeto acústico de la escritura de sonido, o en otras palabras,  hasta que se pudiera escribir secuencias acústicas en la  pista  de  sonido  sin  tener que grabar cualquier sonido real. Una vez logrado esto, el compositor de  la película sonora sería capaz de crear música a partir de un contrapunto de los valores sonoros escuchados, o incluso inexistentes, simplemente mediante la
notación óptico-acústica.

Fig. 9

Rudolph  Emile Pfenninger con sus escrituras sonoras Tönende Handschrift  (1932) y Oskar Fischinger, con Tönende Ornamente (1932) desarrollaron, las ideas  de Mohly Nagy, mediante sus también llamados ornamentos sonoros, que  consistían en secuencias gráficas, con cierto parecido a las grecas  ornamentales, en su estructura gráfica (Fig. 9).
Estas  técnicas también habían calado en el arte soviético y en su nueva  música:  la luz iba a tener también otro papel importante en ella. Así, artistas  como Avraamov , Nikolai Voinov con su Nivotone, o Boris Yankovsky con su  (7) sistema syntone trabajaban en experimentos de creación de música dibujada a mano a partir de figuras geométricas que eran impresionadas en la banda de sonido de la película. La obsesión por las conexiones entre la música y el color o las formas dibujadas eran algo muy presente en el ambiente artístico ruso.

Estos sistemas de escritura sonora, tenían como fin sintetizar el sonido a partir del dibujo sobre la banda óptica de la película cinematográfica. Norman Mclaren empleó también un sistema similar en su obra Synchromie de 1971, quizás la obra más popular que se ha realizado empleando dichas técnicas.
De esta manera, se volvió posible generar sonido a partir de su forma gráfica. Esta integración sonido–imagen, abrió nuevas posibilidades para la automatización de la música y su uso sintético, y que dio origen también en la Unión Soviética, al primer sintetizador polifónico, denominado ANS. El ANS (Fig. 10), fue inventado en torno a 1938 y desarrollado durante 20 años hasta alcanzar su forma definitiva en 1958, por el ingeniero sonoro y físico soviético Evgeni Murzin, quién lo llamó así en honor al compositor Alexander Nikolayevich Scriabin.

Fig. 10

El ANS está basado en esas tecnologías de sonido dibujado que años antes habían explorado Avraamov o Yankovsky. Este no se toca mediante un teclado sino dibujando-rascando la cubierta de masilla resinosa y negra que opaca una plancha de vidrio como si fuera el azogue de un espejo. Los trazos o arañazos, parecidos a los de un grabado, dejan pasar la luz y la lectura de su dibujo como señal óptica para después ser procesada por lectores (sobre la placa de vidrio, 20 células fotoeléctricas envían señales a otros tantos amplificadores y filtros de paso de banda, de manera similar a un ecualizador de diez octavas con dos controles por octava) y convertida en sonido con miles de matices posibles. El sonido se genera en tiempo real y el tempo depende de la velocidad con que se insertan las planchas. (8)
Diversos  artistas y músicos rusos, crearon destacadas obras con el ANS,  pero quien  ha dejado un legado más amplio y claro de sus posibilidades sonoras fue el compositor Edward Artemiev, que lo empleó en la creación de la banda  sonora  de diferentes películas del director Tarkovsky como Solaris (1972) o Stalker (1979).

Fig. 11

Fig. 12

Fig. 13

De una manera similar, más directa y quizás más abstracta, sin implicar una animación gráfica visual correspondiente a diferencia de Fischinger, Pfenninger, Avraamov o Voinov, Daphne Oram, durante la década de los años 60 desarrolló un proceso de generación de sonido electrónico a partir del dibujo, que fue denominado Oramics, un método de composición musical que permitía convertir la información gráfica en sonido a partir del dibujo y  trazado, incluso en directo, sobre el formato del film de 35mm, propio de la  cinematografía, Daphne Oram, compositora y técnico de sonido, investigadora  e inventora excepcional, tuvo que hacer frente a los prejuicios de su época convenciendo, a empresas como la British Broadcasting Corporation (BBC) de la importancia de la música electrónica y gracias a una beca de la Fundación Gulbenkian, construyó finalmente la máquina con la técnica que había puesto en marcha años atrás: un motor eléctrico, desplazaba ocho bandas paralelas de película transparente de 35 mm. que eran escaneadas individualmente mediante células fotoeléctricas sensible a las variaciones de transparencia de luz que recibía a través de la película. En ella dibujaba líneas curvas negras, garabatos y puntos, que iban siendo convertidos en sonido.

De la Oramics  Machine se  ha dicho que es una especie de eslabón perdido de la música  electrónica como señala Robert Worby (2008). El Oramics, era un sistema de notación gráfica en la que se imponen los componentes necesarios tales como altura, duración, el timbre, a partir de la forma, para su representación en ondas de audio y así generar sonidos electrónicos.
Pero sin embargo el fin último del invento de Oram, aunque su origen sean  dibujos  con formas calculadas (Fig. 11 y 12), es exclusivamente sonoro,  desapareciendo la información gráfica, por lo que en este caso la imagen es sólo  un método para obtener sonido y que aunque uno es consecuencia del  otro, prevalece en el resultado lo sonoro sobre lo visual.

Recientemente, y en un proceso similar en cuanto a la creación de sonido a partir  de su analogía visual, Jose Manuél Berenguer en su obra Canto de  Piedra  (2009), realiza una reinterpretación electroacústica multifónica del  paisaje  sonoro de la isla de La Palma, a partir de su imagen tridimensional (9) (Fig. 13), que presenta la orografía de la citada isla.
La obra parte de la semejanza entre las representaciones tridimensionales de los sonidos y las cadenas de montañas. Para ello realiza un proceso de  escaneado  especializado a partir de un software, que escribe en Max MSP-Jitter almacenando las elevaciones en matrices desde diferentes orientaciones
y tomando los datos de la isla como si se sobrevolara la isla en un determinado sentido, para obtener un resultado sonoro complejo y espacializado en ocho  canales,  capaz de suscitar experiencias estéticas.

Fig. 14

Las equivalencia que se  escucharán  entre sonidos y orografía serán fuentes sonoras puramente electrónicas.
Así Berenguer (2009) describe el inicio de su obra: "Cuando vi por primera vez un espectro de un sonido (Fig.14), quedé impresionado por su parecido con  una montaña. No son iguales, desde luego. La energía en el ancho de banda  de frecuencia a lo largo del tiempo en que un sonido se desarrolla presenta una  distribución cercana a la paralela. Los valles y las crestas del espectro de un sonido son paralelos, mientras que, por el contrario, los valles y las crestas de las  montañas tienden a separarse o a converger en el sentido contrario. Por  eso  pensé que sería interesante hacer sonar una montaña por medio de la  constitución en el dominio temporal de la forma de una montaña, tomando ésta como si fuera un espectro. Desde el punto de vista computacional, ello no es  difícil en nuestros días. Basta con disponer de los datos volumétricos de la  montaña y aplicarles una transformada inversa de Fourier. Así se obtiene una  señal, que puede tener un correlato sonoro, si se dispone de las  herramientas  adecuadas".

En la actualidad, es relativamente simple establecer cualquier tipo de analogía directa entre lo sonoro y lo visual, y existe una muy amplia variedad de software que permite establecer estas correspondencias, tanto desde  imágenes que pueden generar sonidos, como de sonidos que pueden generar  imágenes.
Citemos como ejemplo más obvio el reproductor multimedia  incorporado  al sistema operativo Windows, que desde sus primeras  versiones, permite de manera automática realizar visualizaciones de imágenes  aleatorias pero análogas a la música que se reproduce.
Estos procesos informatizados, que vinculan o reproducen de manera  automática, los eventos visuales que tendrán una sincronización más o menos  consecuente o producto de la señal y ritmo sonoro, han llevado a procesos de creación de imagen bidimensional por medio del sonido, o para él sonido, en los que actualmente debemos incluir la figura del videojockey o VJ 10 que a  partir de la década de los años ochenta se desarrolló, en las discotecas, y en algunas  TV, con la misión de acomodar y mezclar imágenes reales o  secuencias gráficas abstractas, acordes con la música y su ritmo, realizando  su  trabajo mediante la mezcla de materiales vídeo, analógicos al principio,  hasta
la actualidad, ya con variado software diseñado al efecto, siempre  buscando una sincronía o complemento lógico visual a la música que suena en  directo. Esta inmediatez de la respuesta visual será una diferencia clara en su  comparación con el Videoclip o Video Musical en los que sus imágenes siguen y  se corresponden con una pieza musical previamente creada, y son  construidas
cuidadosamente  siguiendo  un proceso muy organizado atendiendo al mercado, modas y la industria de la producción discográfica.

Mikel Arce Sagarduy - Profesor titular del Dpto. de Arte y Tecnología de la Facultad de Bellas Artes

Notas:

(1) La palabra sinestesia está formada por dos palabras griegas (sin=juntos, aestesia = sensación), entonces la definición sería entendida como la unión de diferentes sensaciones o percepciones de los sentidos. Como concepto se define a la sinestesia como una experiencia perceptual de uno de los modos sensoriales que es normalmente asociada con un modo sensorial o procesamiento cognitivo diferente. En la práctica la palabra sinestesia se refiere a la condición por la cual la estimulación en un sentido también es percibida por otro sentido, como ejemplo se podría decir que cuando se menciona una palabra, la persona a más de escuchar el estímulo también siente un sabor determinado en el sentido del gusto o percibe un color. Las asociaciones entre estímulo y percepción sensorial en las personas con sinestesia son automáticas, rápidas, al parecer sencillas, muy consistentes, específicas y constantes a lo largo de la vida. Fuente: http://es.wikipedia.org/wiki/Sinestesia (Consulta: 5/08/2013)

(2) Respecto a la incidencia del fenómeno, no se han realizado estudios específicos sobre la incidencia de la sinestesia en la población general, por lo que los datos existentes derivan de los estudios realizados en conjuntos particulares de sinestésicos. Como consecuencia de ello, los índices de incidencia varían considerablemente de estudio a estudio. Algunos investigadores hablan de una proporción de una entre veinte personas, mientras que otros ofrecen valores que van desde 1:200 a 1:20 000. Fuente: Grupo de Neurociencia Cognitiva Departamento de Psicología Experimental Facultad de Psicología Universidad de Granada http://www.percepnet.com/perc10_05.htm (Consulta: 11/10/2013)

(3) La parte de órganos de color está anotada en una plantilla propia, en clave de sol en la parte
superior de la partitura, y consta de dos partes: una cambia con la armonía, y siempre va a la
nota fundamental de la armonía reinante, y por lo tanto Scriabin produce el color asociado con
cada tecla, y el otro consiste en notas mucho más largos sostenidos a través de varias barras,
y no parece estar relacionada con la armonía (o por lo tanto a la primera parte), pero en su
mayor parte se eleva lentamente hasta la escala conjunto de tonos a la vez, los cambios son
varias páginas de puntuación de diferencia, a un minuto o dos de distancia. No está claro qué
relación tiene esta parte de la primera parte, o la música en general. La puntuación no explica
cómo dos colores diferentes se presentarán al mismo tiempo, durante una actuación. Esta
parte de órganos de color también contiene tres partes brevemente en un punto de la partitura.
Fuente: http://en.wikipedia.org/wiki/Prometheus:_The_Poem_of_Fire (Consulta: 23/06/2013)

(4) Uno de los mitos más extendidos sobre Prometheus es que la parte lumínica tenía algo que ver con la supuesta sinestesia de Scriabin. Hoy en día, pensamos en la sinestesia como una condición  neurológica  involuntaria  (Cytowic  2002),  pero  es  importante  reconocer  que  en  el último siglo, la definición de la sinestesia se ha reducido. Hace cien años, "sinestesia" podría referirse  a  una  amplia  gama  de  fenómenos  cross-sensoriales,  con  independencia  de  que dichas asignaciones se presentaron a través de medios neurológicos, psicológicos, patológicos, artísticos,  intelectuales,  espirituales  o  místicas,  (Dann  1998).  Estas  definiciones  cambiantes han dado lugar a la controversia sobre la naturaleza de la audición coloreada de Scriabin (…) Sabaneev  indicó  que  Scriabin  construyó  deliberadamente  su  sistema  de  correspondencia  de tonos de color para sus efectos artísticos y espirituales (Sabaneev 1929, 267n1). Tal vez sea más exacto decir que Scriabin era sinestésico de acuerdo con la forma en que el fenómeno se enmarcó durante su época, pero de acuerdo a las definiciones actuales no lo era. (Gawboy y Townsend, 2012)

(5)  El  cantante  Thomas  Wilfred  conoció  en  EE.UU.  a  un  grupo  de  teosofistas  que  querían construir un órgano de color para expresar ciertos principios espirituales. Wilfred construyó ese órgano y lo llamó el Clavilux, y a sus proyecciones de música-color Lumia (el arte de la luz). La primera aparición pública de Wilfred con su Clavilux fue en 1922 en Nueva York. Ocho años después fueron construidos dieciséis modelos diferentes, estaban dentro de armarios de nogal con una pantalla y un teclado. El sistema funcionaba con discos que cambiaban de color, y a través del teclado se podía controlar el tempo, la obturación y la iluminación.  Fuente: http://musicavisual.blogspot.com/2007/10/clavilux.html (Consulta 23/06/2013)

(6) En la década de 1960, en Buenos Aires, Fernando von Reichenbach realizó en el Laboratorio de  Investigaciones  Musicales  del  Instituto  Di  Tella  su  Conversor  gráfico  analógico  siguiendo premisas  similares.  Fuente:  Belén  Gache,  Las  máquinas  y  el  arte  en  el  siglo  XX, http://cuadrivio.net/2013/08/las-maquinas-y-el-arte-en-el-siglo-xx/  (Consulta 25/011/2013)

(7)  La  técnica  de  sonido  ornamental,  fue  también  desarrollada  en  1929-1930  por  Arseni Avraamov, similar a los Sonidos Ornamentales del animador y cineasta Oscar Fischinger, que lo  presentó  por  primera  vez  en  1932. En  1930,  sin  embargo,  Avraamov  fue  el  primero  en mostrar  piezas  sonoras  experimentales  -  basadas en  perfiles  geométricos  y  ornamentos  - producidos exclusivamente a través de métodos de dibujo. Esto se logró por mediante la toma de  imágenes  foto  a  foto  de  las  ondas  de  sonido  dibujadas  previamente  en  un  en  banco  de animación.  Fuente:  Catálogo,  Sons  et  Lumieres,  Centre  Pompidou  2004  y http://asmir.info/graphical_sound.htm (Consulta: 17/07/2013)

(8)  Fuente:  http://elcultural.es/blogs/la-columna-de-aire/2013/10/misterios-de-la-musica-sintetica-y-electronica-en-la-urss-2/ (Consulta: 25/08/2013) 

(9)  Los  datos  que  manejará  el  autor  han  sido  obtenidos  de  la  misión  SRTM  (Shuttle  Radar Topographie Mission) que, durante 11 días a partir del 11 de febrero de 2005, la nave espacial Endeavour STS 99 llevó a cabo, con la finalidad de cartografiar la Tierra en 3 dimensiones.

(10) Su origen se encuentra en los clubs de baile de la década de 1980, en los que el videojockey mezclaba sus loops de video al ritmo de la música mezclada por el DJ. En sus inicios, la forma de hacerlo era mediante la utilización de reproductores de VHS, mesas de edición broadcast y pesados proyectores de video. Desde la aparición de la informática portátil este movimiento ha protagonizado  una  gran  expansión  debido  al  abaratamiento  y  reducción  de  tamaño  de  los elementos necesarios, sean ordenadores portátiles, cámaras digitales o proyectores de video. Actualmente  y  fuera  de  su  marco  nativo,  puramente  lúdico  y  underground,  el  campo  de actuación de un VJ no  se  limita  a  los clubs, extendiéndose a conciertos, publicidad, eventos públicos,  presentaciones,  televisión,  etc.  Fuente:  http://es.wikipedia.org/wiki/Videojockey. (Consulta 7/07/2013)