Visión por ordenador sensacional: un dron que sigue la pelota

Un dron de carreras necesita saber dónde está su objetivo. El Lince de la Noche lo intenta con una pelota roja, pero la cámara solo ve puntos de color. La Gata Montesa le pregunta: «¿Y cómo sabe el ordenador que eso es una pelota?». El Lince se queda callado, y eso ya es una buena señal.

Introducción

En este chisme hacemos que un dron, de momento un círculo en la pantalla, siga una pelota de color usando la cámara. Todo ocurre en el navegador: la imagen no sale del dispositivo.

La página paso a paso está en el simulador del chisme 101.

Por qué este chisme

La visión por ordenador es una de las ideas de la inteligencia artificial que más se usan en la vida real: coches, drones, cámaras de seguridad. Antes de entrenar redes neuronales, merece la pena entender la versión más simple: contar píxeles de un color.

Cómo funciona

Una imagen es una cuadrícula de puntos. Cada punto tiene tres números, rojo, verde y azul, entre 0 y 255. El programa elige un color de referencia haciendo clic sobre la pelota y, para cada punto, calcula la distancia entre sus tres números y los de la referencia.

Si la distancia es pequeña, el punto es «pelota». Después calcula la media de las posiciones de todos esos puntos: ese es el centro de la pelota, y el dron se acerca a él poco a poco, un 10 % de la distancia en cada imagen.

Qué necesitamos

• Un móvil o un ordenador con cámara y un navegador (Chrome o Edge).
• Una pelota de un color llamativo.
• Buena luz: una sombra cambia los números de color.

Construcción

No hay que instalar nada. La página tiene cinco partes: activar la cámara, elegir el color con un clic, buscar los puntos de ese color, calcular el centro y dibujar el dron. La función que busca la pelota es buscarPelota, y es el corazón del programa.

Cómo probarlo

1. Activa la cámara y pon la pelota delante.
2. Haz clic sobre la pelota. Aparece un punto verde sobre ella.
3. Mueve la pelota despacio: el dron debe seguirla con un ligero retraso.
4. Quita la pelota: el dron se queda donde estaba.

Qué estamos midiendo realmente

El ordenador no ve una pelota: cuenta puntos con un color parecido. Por eso la luz lo cambia todo. Un detector así funciona en condiciones controladas y falla en cuanto cambian la luz, el fondo o el color de la pelota.

La privacidad también es parte de la medida: la página no envía ninguna imagen a ningún servidor, y la cámara solo está activa mientras la página está abierta.

Para el aula

• Si la pelota está en sombra, ¿seguirá el dron? Predice antes de probar.
• ¿Qué pasa si hay dos pelotas del mismo color?
• Compara la luz de una lámpara con la luz de una ventana. ¿Cambia el número de puntos «pelota»?

Retos

1. Haz que funcione con tu pelota y tu luz.
2. Mide cuántos puntos «pelota» hay con buena luz y con sombra.
3. Añade un segundo dron que siga a una pelota de otro color.
4. Mejora el dron para que se pare cuando esté cerca de la pelota.

Qué hemos aprendido

Ver con un ordenador es contar números. Si la regla es sencilla se entiende, pero también se rompe con facilidad. Y todo puede hacerse sin enviar la imagen a ningún sitio.

Para seguir investigando

• El chisme 99 hace algo parecido con fotos y con una IA entrenada por ti.
• Concepto general: Visión artificial (Wikipedia).
• Sobre cómo los ordenadores representan los colores: Modelo de color RGB (Wikipedia).