Machine learning audio: un gato que obedece tu voz: chisme 103 del Lince

Noche en Sierra Bermeja. El Lince de la Noche tiene que pasar entre las rocas sin tocar ninguna piedra, y el gato montés que lo acompaña no le hace ni caso. «Que se mueva cuando le hablo», pide el Lince. La Gata Montesa responde: «Pues dile lo que quieres que haga, y que el ordenador lo entienda». Hoy toca machine learning audio.

Introducción

Construimos un gato de Scratch que obedece órdenes de voz: arriba, abajo, izquierda, derecha y salto. Entrenamos una IA con grabaciones de nuestra voz en LearningML y la usamos dentro de Scratch.

Puedes seguir el tutorial paso a paso en la página del chisme 103.

Por qué este chisme

Hablar con un ordenador es algo que hacemos a diario, con asistentes y altavoces. Este chisme nos deja ver cómo funciona por dentro, con una lista pequeña de órdenes que decidimos nosotros, y nos permite comprobar cuándo la IA entiende y cuándo no.

Cómo funciona

La IA no entiende las palabras como las entendemos nosotros. Convierte cada grabación en números que describen el sonido, los compara con los ejemplos de cada clase y devuelve la clase más parecida y un nivel de confianza entre 0 y 1.

En este programa, el gato solo actúa si la confianza es mayor de 0,6. Si no, dice «No te he entendido». Así evitamos que un ruido del aula lo mueva sin que lo hayamos pedido.

Qué necesitamos

• Un ordenador con micrófono y navegador (Chrome o Edge).
• LearningML (learningml.org) para entrenar la IA y su Scratch para programar al gato.
• Papel, para apuntar los resultados.

Construcción

En el editor de LearningML, crea un proyecto de sonidos con seis clases: arriba, abajo, izquierda, derecha, salto y nada. Di cada palabra muchas veces, con pequeñas diferencias de velocidad, volumen y tono. La clase nada se graba con los ruidos normales del aula. Después entrena el modelo y pruébalo con voces distintas a la de quien ha grabado.

En el Scratch de LearningML, carga el modelo y crea las variables grabacion, orden y confianzaorden. Dentro de un bucle «por siempre», graba una sola vez en grabacion y clasifica esa misma grabación: así la orden y la confianza salen del mismo sonido. Después, si la confianza es mayor de 0,6, el gato se mueve según la orden: salto, derecha, izquierda, arriba o abajo.

El código

por siempre
  dar a grabacion el valor (Record audio)
  dar a orden el valor (Classify item grabacion)
  dar a confianzaorden el valor (Confidence for item grabacion)
  si confianzaorden > 0,6 entonces
    si orden = salto: sumar 20 a y, esperar 0,5, sumar -20 a y
    si orden = derecha: sumar 20 a x
    si orden = izquierda: sumar -20 a x
    si orden = arriba: sumar 20 a y
    si orden = abajo: sumar -20 a y
  si no
    decir "No te he entendido" durante 2 segundos

Cómo probarlo

1. Di cada orden cinco veces y anota cuántas acierta el gato.
2. Repite con otra persona de la clase. ¿Cambia el resultado?
3. Haz ruido de fondo y mira si el gato se mueve sin que lo pidas.

 

Qué estamos midiendo realmente

El micrófono mide cambios de presión del aire en el tiempo. La IA no «oye» una palabra: compara ese sonido con los ejemplos que ha visto. Si todos los ejemplos son de la misma persona, a la misma velocidad y en el mismo lugar, el modelo aprende esas condiciones, no la palabra. Medir no significa necesariamente medir bien.

Para el aula

• ¿Qué pasa si solo grabamos a una persona? ¿Y si la probamos con otra?
• ¿Cuántas grabaciones hacen falta para acertar 9 de cada 10 veces?
• ¿Debe responder el gato cuando no le hablas? ¿Qué clase de error preferimos?

Retos

1. Haz que funcione. Consigue que el gato haga las cinco órdenes seguidas.
2. Añade una orden. Por ejemplo, «para», con su propia clase y su propio bloque.
3. Guarda los datos. Registra 30 órdenes y calcula el porcentaje de aciertos.

Qué hemos aprendido

Un gato que obedece la voz enseña condicionales, variables y bucles, y también que la IA aprende de los ejemplos que le damos. Si los ejemplos son pocos o parecidos, la IA se equivoca de forma predecible, y eso podemos medirlo.

Para seguir investigando

• Chisme 10: el entrenador de voz.
• Chisme 102: piedra, papel o tijera con IA, con el mismo criterio de confianza.
• LearningML: learningml.org.