Chismes del Lince 94 · Data scraping y metadatos

Leer una página para saber de qué va y qué le falta. Solo analizamos páginas que preparamos nosotros o código que copias tú.

El Lince ha publicado su taller en internet y no aparece en Google. La Gata Montesa mira la página y le pregunta: «¿Sabes lo que ve Google cuando entra? Antes de cambiar nada, averigua qué dice tu página de sí misma».

1. Qué es el data scraping

Data scraping es leer una página web y extraer de ella datos concretos: su título, sus encabezados, sus imágenes, sus enlaces. El navegador ya lee la página para mostrártela; el scraping hace lo mismo, pero ordenando la información para analizarla.

Los metadatos son datos sobre los datos. De una página, el título o la descripción; de una foto, la cámara que la tomó o la fecha. Este chisme trabaja con los de las páginas, y el chisme 74 con los de las fotos.

Aquí no se analiza ningún sitio ajeno. Usamos dos fuentes: una página de ejemplo que hemos preparado con errores típicos, y el código fuente que copies tú de una página de montesteam.org.

2. Analiza una página

Lo que dice la página

Palabras que más se repiten

Son las palabras que la página usa más. Si tu página trata de robótica, deberían aparecer las que la describen.

Metadatos, según su tipo

3. El archivo robots.txt

Cada web puede tener un archivo llamado robots.txt que indica a los robots de los buscadores qué partes pueden leer. Es como un cartel en la puerta: no es una cerradura. Un robot educado lo respeta; uno malintencionado puede ignorarlo, y por eso no basta con él para proteger algo. Esto es lo que dice el de la página de ejemplo:


Este comprobador solo mira las reglas del grupo «User-agent: *», que es el que aplica a cualquier robot.

4. Los metadatos de una foto (chisme 74)

Las fotos guardan dentro de sí datos sobre cómo se hicieron: la cámara, la fecha y, a veces, la ubicación GPS. Esos datos se llaman EXIF. Muchas webs los borran al subir una foto, pero no todas. Sube una foto y mira qué lleva dentro. Puedes usar la misma del chisme 74.

La foto se lee en tu navegador: no se envía a ningún sitio.

5. Guardar los metadatos

Un análisis sirve de poco si no lo guardamos de forma ordenada. El registro de abajo recoge cada análisis con sus metadatos agrupados, en formato JSON, el mismo que usamos en el chisme 92. Así se puede comparar una página antes y después de corregirla.


Nunca se guardan correos ni datos de personas: solo cuántos hay.

6. Retos 0/5

Responde mirando la página de ejemplo y su robots.txt. Las respuestas salen del propio análisis.

7. Qué se puede leer y qué no

8. Para qué sirve, y cómo avisar

Con este análisis puedes saber de qué va una página, qué le falta para aparecer en los buscadores y qué puede ser un riesgo para quien la visita. Si encuentras un fallo en una web que no es tuya, la forma responsable es avisar a su responsable, por correo o por el formulario de contacto, sin probar nada más, explicar qué has visto y dar tiempo a corregirlo antes de contarlo a nadie.

Para el aula

Qué hemos aprendido

Una página se puede leer, y lo que dice de sí misma sirve para mejorarla y para avisar de sus fallos. Pero leer no es lo mismo que atacar: el buen analista pide permiso, respeta las reglas, no recoge datos personales y avisa a quien corresponde. El Lince ya sabe qué dice su página de sí misma, y ahora puede arreglarla.

Prototipo educativo: el análisis es orientativo y no sustituye a una auditoría de seguridad.