Chismes del Lince 62: arte generativo

Una noche de luna llena en Sierra Bermeja, el Lince de la Noche vuelve a su cueva y se encuentra una escena rara. Arte generativo.

La Gata Montesa está de pie en mitad de la cueva, moviendo los brazos como una directora de orquesta. Detrás de ella, en la pared de piedra, una nube de chispas de colores sube, gira y se apaga.

—¿Qué estás haciendo? —pregunta el Lince.

—Arte —dice la Gata, sin dejar de moverse.

El Lince ladea la cabeza. Se acerca. Mueve una pata y la nube se le echa encima, en una explosión de estrellas.

—¡Eh! Pero… ¿eso lo has dibujado tú?

—Lo ha dibujado un programa. Pero lo he provocado yo. Y ahora también tú.

—¿Entonces de quién es la obra? ¿Tuya, mía o del programa?

La Gata sonríe.

—Buena pregunta para una exposición. Pero mira lo que he descubierto: esto también sirve para la Cámara de la Verdad.

—¿La simulación de los Centuriones?

—Exacto. Si puede crear ilusiones que reaccionan a lo que haces, los Centuriones de la Verdad podrán entrenar con ellas: encontrar la estrella real entre mil falsas, o notar lo que cambia en una escena que se mueve.

—Entonces el arte… ¿sirve para entrenar?

—El arte sirve para mirar mejor —responde la Gata—. Que es justo lo que necesita un Centurión.

Introducción: arte generativo e interactivo para tu aula

En una instalación de arte generativo e interactivo hay tres palabras que conviene separar:

• Generativo. La obra la crea un programa a partir de reglas y algo de azar. El autor no dibuja cada trazo: diseña el proceso.
• Interactivo. La obra reacciona a las personas. Aquí, a tu movimiento.
• Instalación. No es un cuadro que se mira: ocupa un espacio. Se proyecta en una pared, se recorre y se vive.

En este chisme construimos El espejo del Lince, una instalación de arte generativo que usa la cámara del móvil o del ordenador para saber dónde te mueves y lo convierte en luz, tinta o estrellas.

Tiene cinco modos, cuatro paletas de colores, una semilla para el azar, pantalla completa y un modo automático para dejarlo proyectado. Y como siempre, a la vez que se ve la obra se puede leer el programa real de cada modo.

Si no hay cámara, funciona con el ratón o con el dedo.

Es el chisme de instalaciones artísticas generativas e interactivas de 1º de Bachillerato. Todo se procesa en el navegador y no se guarda ninguna imagen.

Cómo sabe dónde te mueves

La Gata plantea una pregunta: «¿Cómo sabe un programa que algo se ha movido? Solo ve píxeles».

La respuesta es una resta. Un vídeo es una sucesión de fotogramas, y si restas un fotograma al anterior, lo que no se ha movido da cero y lo que sí, no.

El programa hace cuatro cosas en cada fotograma nuevo:

1. Reduce la imagen a 64 × 48 casillas (3 072) y la pasa a gris. Es suficiente para localizar el movimiento y ya no es una foto reconocible.
2. Compara cada casilla con la del fotograma anterior.
3. Aplica un umbral. Si la diferencia es menor que la sensibilidad, se ignora. Así no cuenta el ruido de la cámara.
4. Guarda la fuerza del movimiento de 0 a 1 en cada casilla.

El resultado es un «mapa de movimiento». Todos los modos parten de él.

Para los modos que dibujan con la imagen, la cámara se pone como un espejo: si levantas la mano derecha, se levanta la que está a la derecha en pantalla.

Hay un detalle técnico interesante. Una cámara suele dar 30 fotogramas por segundo y una pantalla dibuja 60. Si el programa restara en cada dibujo, la mitad de las veces compararía dos copias iguales y creería que no hay movimiento. Por eso solo actualiza el mapa cuando llega un fotograma nuevo.

Como el Ojo del Lince también usa la cámara, pero sin inteligencia artificial: aquí el programa no reconoce nada, solo detecta cambios.

Los cinco modos del arte generativo

Cada modo es una función corta que recibe el mapa de movimiento y dibuja. Lo que cambia es la idea que hay detrás.

Modo	Qué dibuja	La idea de programación
Partículas	Chispas que suben y se apagan	Una lista de objetos con posición, velocidad y vida
Tinta	Trazos largos que fluyen	Un campo de corrientes: el ángulo cambia con la posición y el tiempo
Constelaciones	Estrellas unidas por líneas	Distancia entre cada par de puntos
Estela	Bloques de color que se desvanecen	Pintar con un fondo semitransparente
Mosaico	Cuadros de cuatro grises que giran	Posterizar: reducir los niveles de color

La Gata destaca que en todos hay azar, pero no es azar de verdad. Es un dado con semilla: la misma semilla produce siempre la misma serie de números. Por eso se puede repetir una obra.

También destaca el truco del fondo semitransparente. En vez de borrar la pantalla en cada dibujo, se pinta encima un fondo oscuro casi transparente. Lo anterior se va apagando solo y deja una estela. Cuanto más transparente es el fondo, más dura la estela.

En los colores, cada paleta es un rango de tonos. Una función elige el tono y lo hace subir y bajar sin saltos, para que las obras no tengan cortes de color bruscos.

Y cuando nadie se mueve en el modo automático, la instalación dibuja sola una rosa de curvas, que cambia de número de pétalos cada 15 segundos.

La instalación: El espejo del Lince

La herramienta es una página web que ya hemos preparado. No hay que instalar nada. Puedes usarla aquí mismo:

<iframe src="https://montesteam.org/app/chisme62-espejo.html"
  width="100%" height="1500" style="border:0"
  allow="camera; fullscreen" loading="lazy"
  title="El espejo del Lince: instalación de arte generativo"></iframe>

Si la cámara no funciona dentro de la entrada, abre la página del espejo en una pestaña aparte. La cámara necesita https y tu permiso. Si no hay cámara, mueve el ratón o el dedo sobre la obra.

Cuatro pasos:

1. Activa la cámara (frontal o trasera) y ajusta la sensibilidad.
2. Elige un modo y una paleta de colores. Cambia la semilla para obtener otra obra.
3. Muévete. Prueba con las manos, con todo el cuerpo o con un objeto.
4. Conviértelo en instalación. Pulsa Pantalla completa y proyecta en el aula. Activa Instalación automática para que cambie de modo cada 20 segundos.

Con Guardar la obra descargas el resultado como imagen PNG.

Aviso de privacidad. Cada fotograma se reduce a 64 × 48 casillas grises, se compara con el anterior y se descarta. No se guarda ni sale de tu dispositivo ninguna imagen. Tu cara solo se ve en pantalla si activas Ver mi imagen superpuesta, y por defecto está desactivado.

Qué estamos midiendo realmente

El programa no ve personas, ve cambios. Si te quedas quieto, para el programa no existes: no hay diferencia entre dos fotogramas. Y si cambia la luz de la sala, ve movimiento donde no lo hay.

La sensibilidad es un compromiso. Un umbral bajo detecta gestos pequeños, pero también el ruido de la cámara y el parpadeo de una lámpara. Uno alto ignora el ruido, pero también tus movimientos suaves. No hay un valor correcto: depende de la sala y de la cámara.

Dos cámaras dan resultados distintos. Cada una tiene su ruido, su exposición automática y su tasa de fotogramas. Con la misma sensibilidad, el mapa de movimiento puede cambiar mucho entre dos móviles.

Reducir la imagen pierde información a propósito. Con 64 × 48 casillas no se reconoce una cara, pero tampoco un gesto con la mano muy fino. La resolución es una decisión: más casillas, más detalle y más trabajo para el ordenador.

Semilla no es creatividad. La misma semilla y el mismo movimiento dan casi la misma obra. Lo que hace única a una obra es lo que tú pones: cómo te mueves, qué modo eliges, cuándo paras.

La idea de fondo, como siempre en MonteSteam: medir no significa medir bien. Y aquí, además, el dato se convierte en arte, sin que eso lo haga más fiable.

Para el aula

• Quieto. Quédate quieto delante de la cámara. ¿Qué pasa? ¿Por qué? ¿Cuántas casillas hay en movimiento?
• La sensibilidad. Pruébala en 8, en 22 y en 60. Anota cuántas casillas se activan sin que nadie se mueva y cuántas cuando mueves la mano. ¿Cuál es el mejor valor para tu aula?
• La luz. Enciende y apaga la luz, o pasa una sombra. ¿Se detecta como movimiento? ¿Por qué?
• Misma semilla. Haz el mismo gesto con dos semillas distintas y con la misma. ¿Qué cambia? ¿Qué se repite?
• ¿De quién es la obra? Debate en clase: del alumno, del programa, del autor del programa o de nadie. ¿Cambia algo si la obra es por azar?
• Privacidad. Con la imagen superpuesta desactivada, ¿puede alguien reconocerte por la obra? ¿Y activándola? ¿Por qué es mejor no guardar fotogramas?
• Lee el código. En el modo Partículas, ¿qué línea decide cuántas chispas salen? Cambia el número y comprueba.
• Dos cámaras. Prueba la cámara frontal y la trasera con la misma sensibilidad. ¿Salen mapas parecidos?

Retos

1. Reto 1. Haz que funcione. Activa la cámara (o el ratón), prueba los cinco modos y guarda tu mejor obra en PNG.
2. Reto 2. Modifica algo. Crea tu propia paleta de colores añadiendo una línea a PALETAS en el código de la página.
3. Reto 3. Cambia un modo. En el modo Partículas, haz que las chispas caigan en vez de subir. Pista: mira vy.
4. Reto 4. Añade un modo. En MODOS hay cinco. Copia uno, ponle otro nombre, cambia lo que dibuja y añade tu sexto modo. Descarga la página (Guardar como…) y ábrela con un editor de texto.
5. Reto 5. Representa los datos. Anota durante un minuto cuántas casillas se mueven cada segundo y haz una gráfica de la actividad.
6. Reto 6. Automatiza. Haz que el modo automático cambie cada 10 segundos en vez de cada 20, o que lo haga cuando haya mucho movimiento.
7. Reto 7. Haz que participe otro dispositivo. Proyecta la instalación y deja que otra persona use su móvil como cámara.
8. Reto 8. Diseña tu instalación. ¿Qué espacio, qué movimiento y qué sensación quieres provocar? Escribe una memoria de tu obra y explícala a la clase.

Qué hemos aprendido

Un vídeo es una lista de fotogramas, y restar uno al anterior da un mapa de movimiento. Con ese mapa, un programa puede dibujar partículas, tinta o estrellas.

Hemos visto también que el azar del ordenador se puede repetir con una semilla, que un fondo semitransparente deja estela y que la sensibilidad de un detector es un compromiso entre ruido y detalle.

La Gata Montesa ya no sabe si lo suyo es arte, programación o entrenamiento. El Lince cree que las tres cosas, y que la Cámara de la Verdad tiene ahora una nueva sala para los Centuriones.

Para seguir investigando

• El ojo del Lince: otra forma de usar la cámara, con IA.
• La espiral del Lince: dibujar con el movimiento de la mano.
• El theremin de Psique de Plata: una obra que reacciona al movimiento sin tocarla.
• Arte generativo en Wikipedia y la documentación de getUserMedia en MDN, que es lo que usa la página para pedir la cámara.