Actualizado el 10 de noviembre de 2026 por Nicolas Finet, CEO de Sortlist. Hemos reescrito esta guía: qué es el crawling, cómo rastrea Google tu web, cuándo importa el crawl budget, cómo pedir indexación y qué revisar en Search Console.
El crawling (rastreo) es el proceso por el que los robots de los buscadores, como Googlebot, descubren y leen las páginas de internet siguiendo enlaces. Si una página no se rastrea, no puede indexarse ni posicionarse.
Lo esencial
- Rastrear, indexar y posicionar son tres fases distintas: una página puede rastrearse y no indexarse.
- Según Google, el crawl budget solo preocupa a sitios muy grandes (más de un millón de páginas con cambios semanales) o grandes (más de 10.000 con cambios diarios).
- En la mayoría de webs basta con un sitemap actualizado, buenos enlaces internos y revisar el informe de indexación.
Qué es el crawling y cómo funciona
Googlebot parte de URLs conocidas y de sitemaps, lee cada página y sigue sus enlaces. Después Google decide si la indexa. Para entender el contexto, consulta nuestra guía SEO y el apartado de SEO on-page.
| Fase | Qué ocurre | Cómo comprobarlo |
|---|---|---|
| Rastreo | El robot visita la URL | Estadísticas de rastreo en Search Console |
| Indexación | Google guarda la página en su índice | Informe de indexación de páginas |
| Posicionamiento | Google la muestra para consultas relevantes | Informe de rendimiento |
Crawl budget: cuándo importa
Regla práctica: si tu web tiene pocos miles de páginas y las nuevas se indexan en días, el crawl budget no es tu problema; revisa antes calidad, enlaces internos y duplicados.
Síntesis del equipo editorial de Sortlist a partir de la documentación de Google
Google define el crawl budget como el conjunto de URLs que puede y quiere rastrear: depende de la capacidad de tu servidor y de la demanda (popularidad y frescura). Su guía para sitios grandes lo reserva para webs con más de un millón de páginas únicas de contenido cambiante, o con más de 10.000 páginas que cambian a diario, y para casos con muchas URLs «Descubierta, actualmente sin indexar». Detalles en la documentación oficial.
Cómo facilitar el rastreo
- Enlaces internos claros: toda página importante debe estar a pocos clics de la home.
- Sitemap XML actualizado y enviado en Search Console.
- robots.txt correcto: no bloquees recursos ni secciones que quieras posicionar.
- Velocidad y estabilidad del servidor: evita errores 5xx.
- Evita duplicados y parámetros infinitos (filtros, calendarios, sesiones).
- Códigos de estado correctos: 301 para redirecciones, 404 o 410 para contenido eliminado.
- Contenido útil: Google rastrea más lo que considera valioso.
Cómo pedir la indexación de una URL
En Search Console, usa la inspección de URLs y solicita la indexación de una página nueva o modificada. No garantiza que se indexe ni acelera el posicionamiento, y no conviene abusar. Para muchas páginas, el sitemap es más eficiente.
Cómo analizar la cobertura
- Revisa «Páginas» en Indexación: indexadas, no indexadas y motivos.
- Estadísticas de rastreo: número de solicitudes, tiempo de respuesta y errores.
- Herramientas de rastreo propio (Screaming Frog u otras) para detectar enlaces rotos, cadenas de redirecciones y páginas huérfanas. Mira herramientas SEO.
- Análisis de logs, si tu web es grande, para ver qué rastrea Googlebot realmente.
Problemas de rastreo habituales y cómo resolverlos
| Problema | Cómo detectarlo | Solución |
|---|---|---|
| Páginas bloqueadas por robots.txt | Inspección de URL en Search Console | Corregir las reglas del archivo |
| Etiqueta noindex por error | Informe de páginas: «Excluida por noindex» | Quitar la etiqueta en las páginas que deben indexarse |
| Cadenas de redirecciones | Rastreador de webs | Apuntar directamente a la URL final |
| Errores 404 en páginas con enlaces | Informe de páginas | Redirigir o restaurar |
| Páginas huérfanas | Comparar sitemap con el rastreo | Enlazarlas desde páginas relevantes |
| Parámetros infinitos (filtros, calendarios) | Estadísticas de rastreo y logs | Canonicals, bloqueo selectivo y arquitectura de filtros |
| Servidor lento o con errores 5xx | Estadísticas de rastreo | Mejorar el hosting y la caché |
El archivo robots.txt: qué hace y qué no
- Indica a los robots qué zonas pueden rastrear; no impide que una URL aparezca en resultados si otras webs la enlazan.
- Para evitar la indexación, usa la etiqueta noindex o protege la página con contraseña.
- No bloquees recursos necesarios para renderizar la página (CSS y JavaScript importantes).
- Indica la ubicación del sitemap.
Sitemap XML: buenas prácticas
- Incluye solo URLs canónicas, indexables y con código de estado 200.
- Mantén las fechas de última modificación reales.
- Divide los sitemaps en archivos si hay muchas URLs.
- Envíalo en Search Console y revisa los errores.
Rastreo y JavaScript
Google puede renderizar JavaScript, pero requiere más recursos y puede retrasar la indexación. Para el contenido esencial, usa HTML renderizado en el servidor o pre-renderizado, y comprueba con la inspección de URL cómo ve Google la página.
Preguntas frecuentes sobre el crawling
¿Qué diferencia hay entre rastreo e indexación?
El rastreo es la visita del robot; la indexación es que Google guarde la página para mostrarla.
¿Por qué Google no rastrea mi página?
Puede estar bloqueada, no tener enlaces, ser de baja calidad o estar duplicada. Inspecciónala en Search Console.
¿Necesito optimizar el crawl budget?
Solo si tu sitio es muy grande o tienes muchas URLs sin indexar.
¿Con qué frecuencia rastrea Google?
Depende de la popularidad y la frecuencia de cambios; no se puede forzar.
¿Necesitas ayuda? Publica tu proyecto en Sortlist y compara agencias de España.
Fuentes: Google, Optimize your crawl budget, Google, guía para sitios grandes.
