CROWSON: qué es (y qué no es) generar una imagen a partir de texto

En el IES Monterroso, dentro de 1º de Bachillerato de CDYPC, hemos puesto en marcha CROWSON, el último proyecto de la familia que ya conocen quienes siguen este blog (PINSAPIA, MASTERMAN, Postal IA, Eco…). Su objetivo es enseñar, de forma honesta, la forma general de un generador de imágenes real — sin fingir ser uno.

Cómo funciona un generador de imágenes de verdad

Un generador real, como Stable Diffusion o DALL-E, combina dos piezas entrenadas con millones de imágenes. La primera, un modelo como CLIP, convierte el texto en una representación numérica de “qué significa” esa frase. La segunda es un proceso de difusión: parte de ruido puro — algo parecido a la estática de un televisor sin señal — y lo va “limpiando” paso a paso, guiado por esa representación del texto, hasta que el ruido se convierte en una imagen que encaja con lo que se pedía. Las dos redes neuronales han visto, durante su entrenamiento, millones de imágenes reales asociadas a sus descripciones.

Katherine Crowson, la persona detrás del nombre

El proyecto se llama así por Katherine Crowson (GitHub crowsonkb), autora de k-diffusion, la librería de muestreo — basada en el trabajo de Karras et al. (2022) — que usan hoy implementaciones reales de Stable Diffusion, incluida la popular librería diffusers de Hugging Face. Crowson fue además pionera de la difusión guiada por CLIP: sus cuadernos de Google Colab de 2021 fueron uno de los primeros métodos prácticos y abiertos para generar imágenes a partir de texto, antes incluso de que existiera Stable Diffusion.

Qué hace CROWSON en su lugar

CROWSON no tiene ninguna de esas dos redes neuronales de imagen. En su lugar, usa el mismo Llama 3.2 (un modelo de texto puro, el mismo que ya usan PINSAPIA y MASTERMAN) para una tarea mucho más modesta: leer la frase del alumno y elegir, de una lista cerrada de ocho colores, el color del cielo, el color del suelo y el color de un elemento central — siempre un círculo, una forma fija que el modelo no elige. No hay ninguna “comprensión” real de la escena: solo tres clasificaciones simples dentro de un vocabulario cerrado.

A partir de esas tres decisiones, el código —sin ninguna inteligencia artificial— dibuja tres formas fijas en un lienzo: el cielo como un rectángulo superior, el suelo como un rectángulo inferior, el elemento central como un círculo. Nada de ruido, nada de proceso iterativo: solo la parte final del patrón, “convertir una decisión en píxeles”, aislada y hecha completamente visible.

Un ejemplo real, con sus límites incluidos

Con la frase “un atardecer en la playa”, el modelo eligió cielo naranja, suelo rojo y elemento central amarillo. El naranja y el amarillo encajan bien con un atardecer; el rojo para la arena de una playa es, como mucho, una aproximación. Y eso no es un fallo que haya que disimular: con solo ocho colores disponibles, el modelo tiene que elegir el más cercano de los que tiene, y esa elección —acertada o no— queda completamente a la vista. Es justo lo contrario de lo que pasa en un generador real, donde la decisión queda escondida dentro de millones de parámetros.

Por qué esto no es un generador de imágenes real

CROWSON no usa difusión, no tiene ninguna red neuronal entrenada para imágenes y no ha visto ni una sola imagen real durante su funcionamiento. Es una simulación pedagógica del patrón general “texto → interpretación → píxeles”, pensada para que el alumnado entienda esa forma general sin salir creyendo que ha visto lo mismo que Stable Diffusion o DALL-E. Decir con claridad qué es esto y qué no es, es tan importante como que el dibujo se vea bien.

---