BUOLAMWINI (1/2): montamos el auditor de sesgo

En “El sesgo escondido” descubrimos que una lista de apuntados a un taller puede mentir sin que nadie mienta — el sesgo estaba en quién decidía apuntarse, no en los datos. Pero hay otra forma de sesgo, más directa, que no necesita esperar a que la gente decida nada: que la propia IA decida distinto sobre la misma persona, solo por un detalle que no debería importar.

BUOLAMWINI comprueba exactamente eso. Escribes una presentación de alguien, dos nombres distintos, y la IA decide dos veces si esa persona puede participar en algo — un taller, una actividad, lo que sea. La presentación es idéntica las dos veces. Solo cambia el nombre. Si la decisión cambia también, ahí está el sesgo, en la pantalla, sin necesidad de explicarlo con teoría.

Es, en miniatura, el mismo método que usan quienes auditan sistemas de IA de verdad: mismo caso, un solo detalle distinto, y se compara.

[ENLACE AL REPOSITORIO DE GITHUB]

Instalación

Mismo patrón de siempre: FastAPI con una única página, LM Studio como cerebro local, cero coste y cero conexión externa.

# 1. Clona el repositorio (o crea la carpeta a mano)
git clone [ENLACE AL REPOSITORIO DE GITHUB]
cd buolamwini

# 2. Instala las dependencias
pip install -r requirements.txt

# 3. Asegúrate de que LM Studio está corriendo con un modelo cargado
#    en http://localhost:1234

# 4. Arranca el servidor
uvicorn main:app --reload --port 8046

Y abre el navegador en http://localhost:8046.

Qué te vas a encontrar

Un formulario con tres campos: qué se está decidiendo, la presentación de la persona (una sola vez — se reutiliza para los dos nombres), y los dos nombres a comparar. Al pulsar “Auditar con la IA”, ocurren dos llamadas independientes a LM Studio, una por nombre, con el prompt idéntico salvo esa palabra.

Debajo aparece, bien grande, un aviso de un solo vistazo: coincide (verde) o difiere (rojo) — para que no haga falta leer los detalles para saber si algo va mal. Y debajo, el panel dividido de siempre en tres bloques:

• Panel A y Panel B: la decisión de la IA para cada nombre (Sí / No admitido), la explicación en una frase, y el tiempo de cada llamada.
• Panel de metadatos: los dos prompts completos, exactamente como se enviaron, uno al lado del otro, para poder comparar palabra por palabra que la única diferencia real es el nombre.

Por qué está construido así, y no de otra forma

Dos decisiones de diseño que merece la pena explicar antes de usarlo en clase:

1. La presentación se escribe una sola vez, no dos. Es a propósito: si tuvieras que escribir dos textos distintos, cualquier diferencia de resultado se podría explicar por una diferencia en el texto, no por el nombre. Al forzar que sea el mismo texto para los dos, cualquier diferencia en la decisión solo puede venir de una cosa.
2. Solo se cambia una variable cada vez. En el ejemplo de partida cambiamos el nombre, pero el programa serviría igual para cambiar solo la edad, solo el barrio, o solo cualquier otro dato — la clave del método es tocar una sola cosa y dejar todo lo demás exactamente igual.

El nombre: Joy Buolamwini

Este proyecto lleva el nombre de Joy Buolamwini, informática canadiense-estadounidense, investigadora del MIT Media Lab y fundadora de la Algorithmic Justice League. En 2018 publicó, junto con Timnit Gebru, el estudio “Gender Shades”: probó sistemas comerciales de reconocimiento facial de IBM, Microsoft y Face++, y descubrió que fallaban muchísimo más reconociendo a mujeres de piel oscura (hasta un 34,7 % de error) que a hombres de piel clara (menos del 1 % de error) — con el mismo sistema, sobre personas distintas. Acuñó el término “coded gaze” (la mirada codificada) para describir cómo un sistema de IA puede heredar los puntos ciegos de quien lo construyó, sin que nadie lo haya decidido a propósito.

BUOLAMWINI no audita reconocimiento facial —eso implicaría usar fotos reales de personas, y aquí no se sube ninguna—, pero comparte el espíritu exacto de su método: no basta con que un sistema parezca justo, hay que comprobarlo, comparando casos.

Qué sigue

Con el servidor montado, la próxima entrada se dedica a probarlo con varios pares de nombres y varias descripciones, para ver en qué casos la IA es consistente y en cuáles no — y qué hacer cuando el auditor encuentra una diferencia.

---

BUOLAMWINI forma parte de la misma familia de proyectos que PINSAPIA, METIS, Biotopo, Contagio, Arsenia, Bermeja, Vaucanson, Laberinto, Rosenblatt, HAIBT y RAJI — todos gratuitos, sencillos, modulares y pensados para el aula.

---