PDF de programación - Diseño y desarrollo de un sistema para la interacción en instalaciones mediante dispositivos móviles

UNIVERSIDAD NACIONAL DE QUILMES
Departamento de Ciencias Sociales
Licenciatura en Música y Tecnología

DISEÑO Y DESARROLLO DE UN
SISTEMA PARA LA INTERACCIÓN
EN INSTALACIONES MEDIANTE
DISPOSITIVOS MÓVILES

ALUMNO:
VALENTIN HOLGADO
DNI: 35619793
LEGAJO: 21342
CONTACTO: [email protected]

DIRECTOR:
ESTEBAN CALCAGNO

FECHA DE ENTREGA:
20 DE NOVIEMBRE DE 2014

Resumen

Esta tesis se centra en el diseño y desarrollo de un sistema para el control de interacción,

en tiempo real, de obras musicales e instalaciones sonoras interactivas, las cuales poseen

una dificultad de desarrollo implícita debido a que no existe una herramienta puntualmente

diseñada para su creación y montaje.

Este sistema consta de dos aplicaciones informáticas que funcionan como prueba de

concepto y que facilitan la producción de obras que requieran algún tipo de interacción remota

por parte del público. Estas aplicaciones trabajan conjuntamente utilizando un modelo cliente-

servidor a través de una red de área local inalámbrica (WLAN), en la que el servidor organiza

y administra la información recibida de los clientes y a su vez funciona como nexo entre los

clientes y otras aplicaciones para la generación y procesamiento de audio, como Pure Data.

Ambas aplicaciones están programadas en C++ utilizando openFrameworks, un conjunto

de aplicaciones informáticas diseñadas para artistas y que presenta una amplia variedad de

librerías.

En cuanto a la aplicación cliente, esta corre en el sistema operativo Android, lo cual permite

que los espectadores de la obra puedan conectarse a la misma mediante diferentes dispositivos

móviles. El uso de dispositivos móviles, y más particularmente de teléfonos inteligentes como

plataforma para este proyecto permite aprovechar la creciente disponibilidad y variedad de

éstos para ser adaptados e incluidos a la obra sin costo agregado. El uso de estas tecnologías

permite, además, disponer los límites de interacción por parte del creador de la obra, pudiendo

dirigirse a los espectadores con el fin de asignarles un rol en la obra, indicarles que es lo que

deberían estar haciendo, en qué momentos pueden interactuar y de que manera.

La aplicación servidor, desarrollada actualmente para el sistema operativo Windows 7 (a

futuro se planea que sea multiplataforma), cuenta con una línea de tiempo similar a la que

habitualmente se encuentra en programas de edición de audio y video. En ella se pueden

crear secciones, asignar duraciones y manejar distintos eventos, denominados bloques de

interacción, que cumplen la función de solicitarle al cliente que, mediante los sensores de su

p.2

VALENTIN HOLGADODISEÑO Y DESARROLLO DE UN SISTEMA PARA LA INTERACCIÓN EN INSTALACIONES MEDIANTE DISPOSITIVOS MÓVILES dispositivo movil, envíen datos a la obra. Los datos son obtenidos por el servidor en forma

de símbolos numéricos y cadenas de texto y luego re-enviados a aplicaciones compatibles

con el protocolo de comunicación OSC. Fue de particular ayuda para este proyecto que Pure

Data, uno de los programas que se utilizó para probar la comunicación OSC, pudiera recibir

correctamente toda la información enviada por los espectadores, para así aprovechar las

capacidades que posee en cuanto al manejo de datos y audio.

Es importante aclarar que para llevar a cabo esta Tesis fue necesario aprender los lenguajes

de programación C++ y Java, además del uso de la interfaz nativa de Java (JNI) y la estructura

de aplicaciones Android, para poder desarrollar el sistema, así como software complementario

propio del desarrollo sobre estas plataformas, Code::Blocks y Eclipse.

Al tratarse de un sistema inalámbrico que funciona sobre redes de área local, fue necesario

también estudiar los protocolos de comunicación disponibles y sus características.

p.3

VALENTIN HOLGADODISEÑO Y DESARROLLO DE UN SISTEMA PARA LA INTERACCIÓN EN INSTALACIONES MEDIANTE DISPOSITIVOS MÓVILES Antecedentes y estado de situación

En 1957 Max Matthews fue responsable de los primeros sonidos generados por

computadora1 utilizando el primer lenguaje de programación orientado al audio denominado

MUSIC. Dada su poca velocidad de procesamiento las primeras computadoras eran utilizadas

para controlar equipos de generación de sonido, tales como sintetizadores analógicos, pero

no para producir sonido directamente en tiempo real, ejemplo de esto es el sintetizador

GROOVE diseñado por Matthews y F.R. Moore2, que utiliza una computadora conectada a un

sintetizador analógico controlado por tensión.

Recién a fines de los años ‘70, con la aparición de las primeras computadoras de

menor tamaño y costo, y mayor capacidad de procesamiento, se empezaron a utilizar más

frecuentemente en vivo y para generación en tiempo real de sonido3. Las novedades más

importantes que aporta la computación al arte sonoro son la programación, el control y manejo

preciso de datos, y nuevas técnicas de generación y procesamiento de sonido. Por esta época

comienzan a aparecer las primeras aplicaciones interactivas orientadas a la música y el sonido,

y queda sentado que la programación y el control de datos hacen posible la creación de obras e

instalaciones interactivas de manera más fácil y accesible que la electrónica analógica.4

En las décadas de 1980 y 1990 se realizaron avances importantes en las nuevas tecnologías

musicales, los sistemas de computación continuaron abaratando su costo y el audio digital

toma protagonismo en los estudios y en los escenarios. Aparece la aplicación Music Mouse

software de acompañamiento musical, simple y accesible que puede ser utilizado por cualquier

usuario sin conocimientos previos de programación5. En 1983 se crea el estándar MIDI6

1 Holmes, Thom, and Terence M. Pender. Electronic and Experimental Music: Technology, Music, and Culture. New
York: Routledge, 2012. Impreso.

2 Mathews, M. V., and F. R. Moore. “GROOVE - A Program to Compose, Store, and Edit Functions of Time.”
Communications of the ACM 13.12 (1970): 715-721. Impreso.

3 Holmes, Thom, and Terence M. Pender. Op. Cit.

4 Jordá, Sergi. “Interactivity and Live Computer Music.” The Cambridge Companion to Electronic Music. Ed. Nick
Collins and Rincón Julio D’ Escrivan. Cambridge: Cambridge UP, 2007. Impreso.

5 Jordà, Sergi. Op. Cit.

6 Huber, David Miles. The MIDI Manual: A Practical Guide to MIDI in the Project Studio. Boston: Focal, 2007.
Impreso.

p.4

VALENTIN HOLGADODISEÑO Y DESARROLLO DE UN SISTEMA PARA LA INTERACCIÓN EN INSTALACIONES MEDIANTE DISPOSITIVOS MÓVILES para la interconexión de generadores de sonido (ej. sintetizadores), interfaces musicales y

computadores, que simplificó y unificó el conexionado entre estos equipos. En los años ‘80

Miller Puckette comienza con el desarrollo de lo que sería Max/MSP7, y años más tarde Pure

Data8, ambos entornos gráficos de programación son ampliamente utilizados en la actualidad

en instalaciones y performance en vivo. Otros lenguajes de programación destacados son

SuperCollider9, lanzado en 1996, y CSound10, descendiente directo de MUSIC. Comienza hacia

finales de los ‘90 el desarrollo de OSC (Open Sound Control), protocolo de objetivo similar a

MIDI pero compatible con redes ethernet y que permite mensajes de mayor complejidad.

Por esta época comienzan también las primeras incursiones en el área de HCI, Human-

Computer Interaction, que hasta este momento se trataba de un área explorada sólo de forma

empírica y muy poco desarrollada. Ésta nueva área toma elementos de diversas disciplinas

como la informática, la psicología, ciencias de la cognición, ergonomía, diseño, ingeniería,

antropología, entre otras, para estudiar el vínculo que se produce entre un humano y una

máquina buscando mejorar los medios de comunicación entre ambos para que sea más

accesible. El campo de investigación principal de este área es la interacción entre un usuario

y un sistema. Esta interacción consta de dos partes: control y realimentación. El usuario

controla el sistema y este devuelve información que puede servir al usuario para tomar nuevas

decisiones, este ciclo se repite en forma de bucle: a cada entrada de control le corresponde

una devolución o feedback. Cuando la cognición de cualquiera de las dos partes (humano

o sistema) se deja de lado, es decir, cuando una de las dos partes no evalúa lo recibido para

devolver información a la otra parte se rompe este lazo interactivo, y se dice que el sistema es

reactivo y no interactivo, ya que las acciones y respuestas de uno no están modificando las del

otro11.

Bert Bongers distingue tres formas de interacción cuando se involucran a sistemas

electrónicos: interacción performer-sistema, es el caso más habitual y, por ejemplo, puede

tratarse de un músico tocando un instrumento; interacción público-sistema, los casos más

habituales incluyen los programas de computadora, consolas, e instalaciones interactivas;

7 “Cycling 74.” Cycling 74. Web. 09 Junio 2013. <http://cycling74.com/>.

8 “PD Community Site.” Pure Data. Web. 09 Junio 2013. <http://puredata.info/>.

9 “SuperCollider” SuperCollider. Web. 29 Junio 2013. <http://supercollider.sourceforge.net/>.

10 “Csound: C-Based Audio Programming Language” CSound. Web. 18 Octubre 2013. http://www.csounds.com/

11 Noble, Joshua J. Programming Interactivity: A Designer’s Guide to Processing, Arduino, and OpenFrameworks.
Sebastopol, CA: O’Reilly, 2012. Impreso.

p.5

VALENTIN HOLGADODISEÑO Y DESARROLLO DE UN SISTEMA PARA LA INTERACCIÓN EN INSTALACIONES MEDIANTE DISPOSITIVOS MÓVILES interacción perfomer-sistema-público, el público deja su rol pasivo e int