Rastreo o crawling
¿Qué es el rastreo o crawling?
El rastreo o crawling es el proceso por el que los buscadores recorren la web con programas automáticos, los bots o crawlers, que descargan cada página y siguen sus enlaces para descubrir otras. Es el primer paso de tres: rastrear, indexar y clasificar. Sin rastreo, una página no existe para Google.
El rastreador de Google se llama Googlebot. Parte de una lista de URL que ya conoce y de los sitemaps que le envías, visita cada una, lee su contenido y apunta los enlaces que encuentra para pasar por ellos después. Lo que recoge va al índice, y del índice salen las SERPs. No depende de nadie en las oficinas de Google: es un trabajo de máquinas, a una escala que ninguna persona podría asumir.
¿Qué significa rastrear? ¿Y qué es un crawl?
Rastrear, en el sentido general de la palabra, es seguir el rastro de algo: buscarlo recorriendo el terreno. En SEO se usa exactamente igual, porque el bot sigue el rastro que dejan los enlaces de una página a otra. En inglés el verbo es to crawl, «gatear» o «arrastrarse», que describe bien cómo avanza el programa: despacio, enlace a enlace, sin saltarse nada.
Un crawl, como sustantivo, es cada recorrido completo que hace el rastreador sobre un sitio. Las herramientas SEO (Screaming Frog es la más conocida) llaman así a la simulación de ese recorrido que lanzan sobre tu web para encontrar lo mismo que encontraría Googlebot: enlaces rotos, redirecciones en cadena, páginas huérfanas o bloqueadas por el robots.txt.
¿Qué es el presupuesto o espacio de rastreo?
El presupuesto de rastreo (crawl budget), al que a veces se llama espacio de rastreo, es la cantidad de páginas de un sitio que Googlebot está dispuesto a rastrear en un periodo dado. Google lo define como la combinación de dos cosas: lo que tu servidor aguanta sin resentirse (el límite de capacidad) y lo que al buscador le interesa rastrear de tu sitio (la demanda, que depende de la popularidad de las páginas y de cuánto cambian).
Para la inmensa mayoría de webs no es un problema. Google reserva su guía sobre el tema para sitios de más de un millón de páginas, o de más de diez mil que cambien a diario; en una web corporativa o en un blog, Googlebot pasa por todo lo que tiene que pasar. Lo compruebas en Search Console, en el informe de estadísticas de rastreo: ahí ves cuántas peticiones hace al día, cuánto tarda tu servidor en responder y qué tipo de ficheros se lleva.
¿Cómo Google rastrea las páginas webs?
La tarea de los rastreadores no es nada sencilla. Día a día se generan miles de nuevas páginas web alrededor del mundo, y estos bots deben además reconocer el tipo de contenido y valorarlo. ¿Cómo lo logran? De la siguiente manera:
- Primeramente, los bots detectan cada vez que aparece una nueva URL. Ponen el ojo sobre ella. ¡Y manos a la obra!
- Para llevar un orden asignan una posición a esa página en su directorio de rastreo. De esa forma, los algoritmos podrán hacer su respectivo trabajo de forma organizada.
- En esta fase comienza el análisis: Cada uno de los algoritmos de Google (o del buscador de tu preferencia) deberá evaluar la idoneidad de esa página.
- Si los bots dan su visto bueno se procede con la indexación de la página. ¿Qué quiere decir esto? ¡Que ya estará disponible en las SERPs!
Importancia del rastreo para el SEO
A rasgos generales, el crawling es la punta de lanza del posicionamiento web. Google y otros buscadores asignan una posición de acuerdo a los resultados obtenidos al rastrear.
Por eso es esencial que los directores SEO sean capaces de adecuar sus páginas de modo tal que sean 100% rastreables. ¡Pero no solo! Además deben ajustar los fundamentos técnicos de esa web para que tras pasar por el crawling obtengan una posición ventajosa.
Dicho esto, a continuación se resumen los puntos que justifican la importancia de este proceso. ¡Presta atención!
- Es el único mecanismo que tienen los buscadores para detectar las nuevas URL. Así que la próxima vez que encuentres un contenido de actualidad sabrás que fue posible por la rapidez de los bots rastreadores. ¡Gracias crawlers!
- Desde el punto de vista de los usuarios gracias al rastreo es posible encontrar páginas en las SERPs ordenadas por su calidad. Durante este proceso es que se califican las webs garantizando que tengas a tu disposición justo lo que necesitas.
- Siendo sinceros, el rastreo añade un mayor sentido de orden a todo lo que sucede en Internet. ¿Te imaginas el caos que sería hacer una búsqueda en Internet sin un filtro como este? Encontrar una página acorde a tus necesidades sería como buscar una aguja en un pajar.

