Antes de empezar: tres ideas
1. Solo predice la siguiente palabra
Un LLM no «sabe» cosas: dado un texto, calcula qué palabra (o trozo de palabra) es más probable que venga después. La añade al texto y repite. Una respuesta larga es eso mismo, muchas veces seguidas.
2. Aprende leyendo… muchísimo
Imagina a alguien que ha leído millones de libros sin entender nada: solo anota qué palabra suele venir después de cada grupo de palabras. No guarda los libros, guarda mandos, como en una mesa de mezclas, que se fueron girando poco a poco hasta que acertar la palabra siguiente fuera cada vez más fácil. Esos mandos se llaman parámetros.
3. Todo son números
Las palabras se convierten en listas de números (vectores). Después solo hay multiplicaciones, sumas y una función llamada softmax. Lo que hace un ingeniero de software es diseñar esas operaciones y el programa que ajusta los mandos.
1 Entrena el modelo (gira los mandos)
Ahora mismo los mandos están al azar, así que el modelo no sabe nada. Entrénalo: lee unas 60 frases de física, matemáticas y método científico una y otra vez y ajusta sus parámetros para fallar menos.
Una época es una pasada completa por todas las frases. El error (pérdida) mide lo sorprendido que está el modelo ante la palabra correcta: cuanto más baja, mejor predice.
📖 Qué ha leído el modelo (el corpus)
✏️ Añade tus propias frases y reentrena desde cero
Una por línea, con el formato pregunta | respuesta (máximo 15 líneas). Por ejemplo: qué es un cuadrado | un cuadrado es una figura con cuatro lados iguales. Tus frases se estudian 3 veces más que las del corpus para que las aprenda bien, y el modelo se entrena solo 80 épocas.
El mapa de la sorpresa
Cada fila es una frase del corpus y cada casilla es una palabra. El color muestra la probabilidad que el modelo daba a esa palabra cuando le tocaba predecirla: rojo = «¡no me lo esperaba!», verde = «lo tenía clarísimo». Antes de entrenar casi todo está rojo; entrena y míralo ponerse verde. Pulsa una fila para ver los números.
Física Matemáticas Ciencia e informática Tus frases
2 Escribe tu pregunta
Prueba con una de estas (el modelo las ha leído) o escribe lo tuyo. Las palabras que no conozca serán una ficha «desconocida».
La respuesta aparecerá aquí.
3 El viaje de una palabra
El Lince quiere su propia IA: A.L.P.H.A.S.I.D.A.
Lince de la Noche: Gata, lo he decidido: quiero mi propia inteligencia artificial. Que lo sepa todo y que me conteste a cualquier cosa. Imagino que dentro habrá algo parecido a magia.
Gata Montesa: Vamos a construir A.L.P.H.A.S.I.D.A., que así se llama, aunque el nombre tenga más letras que una tesis. Dentro hay una lista de números, Lince. Y una multiplicación detrás de otra.
Lince de la Noche: ¿Y cómo va a saber la respuesta?
Gata Montesa: Le daremos a leer física y matemáticas, que es lo que lee una IA pensada para la ciencia. Y no la sabe: calcula qué palabra es más probable que venga después. Vamos a construirla en pequeño y vas a ver cada cuenta, una a una. Cuando termines, ya no te parecerá magia: te parecerá ingeniería.
Lince de la Noche: ¿Ingeniería? Eso sí me gusta.
Misiones
Marge y el modelo que no se calla
Marge The ThunderClown: A ver, bola de cristal: «¿ quién ganará el mundial ?». ¡Responde con total seguridad!
Prueba esa pregunta. El modelo siempre da una respuesta, porque siempre hay una palabra más probable que las demás, aunque no sepa nada del tema. A eso se le llama alucinación: el modelo no tiene un «no lo sé» incorporado, solo probabilidades. Por eso hay que verificar lo que dice una IA, como hace un científico: con evidencias comprobables.
Nuestro mini-LLM frente a uno real
| Este mini-LLM | Un LLM real | |
|---|---|---|
| Parámetros (mandos) | — | Miles de millones |
| Texto de entrenamiento | — | Billones de palabras de libros, webs y código |
| Fichas | Palabras enteras | Trozos de palabra (subpalabras) |
| Contexto | — | Decenas o cientos de miles |
| Capas de atención | 1 sola, con 1 cabeza | Decenas de capas con muchas cabezas |
| Después del entrenamiento | Nada | Ajuste para obedecer instrucciones y ser seguro |
Por dentro hace lo mismo: fichas, vectores, atención, red neuronal y softmax. Cambia la escala, no el principio.
Privacidad
Todo ocurre en tu navegador: el modelo se entrena y calcula en tu ordenador, no se envía ningún texto a internet. Con un asistente en la nube, en cambio, lo que escribes sale de tu dispositivo y viaja a un servidor. Piensa antes qué datos personales pones.
Comprueba lo que sabes
Informe del ingeniero o ingeniera de IA
Supera las misiones que puedas, escribe tus conclusiones e imprime el informe (o guárdalo como PDF). Tu nombre solo se queda en esta página.
| Misión | Estado |
|---|
Glosario
Palabras de este chisme
- LLM (modelo de lenguaje grande): modelo que predice la siguiente palabra a partir de un texto.
- Token (ficha): trozo de texto con el que trabaja el modelo: una palabra, parte de ella o un signo.
- Embedding: lista de números que representa una ficha.
- Atención: cálculo que decide a qué fichas del contexto mira más el modelo.
- Red neuronal: capas de multiplicaciones y sumas con una función simple (aquí, ReLU) entre ellas.
- Parámetro: cada número ajustable del modelo (un «mando»).
- Softmax: función que convierte puntuaciones en probabilidades que suman 1.
- Pérdida (error): cuánto falla el modelo; el entrenamiento intenta reducirla.
- Temperatura: ajuste del azar al elegir la palabra.
- Alucinación: respuesta falsa pero convincente.