Rastreo: cómo encuentra un buscador su sitio

Módulo 1: Cómo funcionan los buscadores · Tiempo de lectura: 11 minutos

Objetivo de aprendizaje: Después de esta lección podrá describir cómo un rastreador descubre páginas nuevas, qué códigos de estado encuentra y qué significan, y qué impide el paso a un rastreador.

Conceptos clave: rastreador (Googlebot, Bingbot), seguir enlaces, sitemap, código de estado HTTP (200, 301, 302, 404, 410, 429, 5xx), redirección, presupuesto de rastreo, JavaScript y renderizado, página huérfana, robots.txt

Qué es un rastreador

Un rastreador (también llamado crawler, spider o bot) es un programa que descarga páginas web, igual que lo hace su navegador, pero de forma automática y a una escala enorme. Google tiene Googlebot y Bing tiene Bingbot. Solicitan una dirección, reciben el HTML, leen qué enlaces contiene y añaden esas direcciones nuevas a su lista para descargarlas más adelante.

Google indica que Googlebot, de media, no visita un sitio más de una vez cada pocos segundos, y que la mayoría de las solicitudes proceden de la versión para smartphone de Googlebot. Por tanto, Google ve su sitio sobre todo como lo ve un teléfono. Volveremos a ello en la lección 4.2.

Un rastreador también puede hacerse pasar por Googlebot: el nombre (el user-agent) es fácil de imitar. Google recomienda comprobar una visita sospechosa con una búsqueda DNS inversa de la dirección IP. Es útil si en el registro de su servidor ve un "Googlebot" que hace cosas extrañas.

Cómo encuentra un rastreador páginas nuevas

Google menciona tres vías:

1. Volver a visitar páginas que ya conoce. Allí detecta cambios y enlaces nuevos.
2. Seguir enlaces. Un enlace desde una página que Google ya conoce hacia una página nueva es la forma más importante de que le encuentren. Esto vale para los enlaces dentro de su propio sitio (su menú, un enlace en un texto) y para los enlaces desde otros sitios.
3. Una lista que usted proporciona: el sitemap. Un sitemap es un archivo con las direcciones de sus páginas. Puede enviarlo en Search Console o indicarlo en robots.txt (lección 3.4). Según Google, un sitemap no es obligatorio, pero sí útil, sobre todo para sitios nuevos con pocos enlaces, sitios grandes y páginas situadas muy al fondo del sitio.

Los enlaces deben ser enlaces de verdad

Google solo puede seguir un enlace si es un elemento <a> normal con un href:

<a href="/bruidsboeketten">Bruidsboeketten</a>          <!-- correcto -->
<span onclick="ga('/bruidsboeketten')">Bruidsboeketten</span>   <!-- no es un enlace para Google -->

Un botón que solo salta a otra página mediante JavaScript no es un enlace para un rastreador. Una página a la que no enlaza ninguna otra se llama página huérfana (orphan page). Un rastreador solo la encuentra a través del sitemap, y a los visitantes también les cuesta encontrarla. Por eso, una página nueva siempre debe estar enlazada en algún lugar de su menú o de un texto.

JavaScript: primero descargar, después ejecutar

Muchos sitios modernos construyen la página con JavaScript en el navegador. Google puede manejarlo: ejecuta JavaScript con una versión reciente de Chromium, la base del navegador Chrome. Esto se llama renderizar. Google lo describe como tres fases para este tipo de páginas: rastreo, renderizado e indexación. Las páginas con estado 200 entran en una cola para ser renderizadas.

Dos consecuencias:

• Lo que solo aparece en la página tras ejecutar JavaScript, Google lo ve más tarde que lo que está directamente en el HTML.
• No todos los rastreadores ejecutan JavaScript. El propio Google lo dice. Por tanto, los textos, títulos y enlaces que están directamente en el HTML son lo más seguro para todos los buscadores. Google considera que el HTML generado en el servidor "sigue siendo una buena idea".

Las comprobaciones automáticas de este curso leen el HTML tal como lo envía el servidor, sin JavaScript. Lo que usted ve en su navegador puede ser distinto.

Códigos de estado: lo que responde el servidor

Con cada página, el servidor envía un código de estado. No se ve en pantalla, pero es lo primero que lee un rastreador:

Preste atención al soft 404: una página que muestra "no encontrado" pero devuelve el estado 200. Para el rastreador parece una página real; para el visitante, no. Search Console informa de estas páginas por separado. Por eso, una página eliminada debe devolver un 404 o 410 de verdad, o redirigir con un 301 a una página que la sustituya.

Google sí sigue una cadena de redirecciones (de http a https, a www y a la página nueva), hasta unos diez pasos, pero cada paso cuesta tiempo. En la lección 4.1 verá cómo hacerlo en un solo paso.

Qué impide el paso a un rastreador

Google menciona como causas de que una página no se rastree: problemas con el servidor, problemas de red y reglas en robots.txt que prohíben el acceso a Googlebot. En la práctica también se encuentra con:

• un sitio que sigue en "modo mantenimiento" o está protegido con contraseña;
• en WordPress, la casilla "Disuadir a los motores de búsqueda de indexar este sitio", que añade un noindex (eso corresponde al paso 2, pero el efecto es el mismo: no se le encuentra);
• una protección o un firewall que rechaza bots desconocidos con un 403 o un 429;
• un sitio en el que solo se puede navegar mediante botones de JavaScript.

robots.txt tiene su propia lección (3.3). Por ahora basta con saber que es un archivo de texto en https://www.example.com/robots.txt que indica qué partes de su sitio no puede descargar un rastreador.

Presupuesto de rastreo: no es una preocupación para la mayoría de los sitios

En internet se lee mucho sobre el presupuesto de rastreo (crawl budget): cuántas páginas de su sitio quiere y puede descargar Google. Google indica que su guía sobre este tema está pensada para sitios grandes, con una estimación aproximada de más de un millón de páginas, o más de diez mil páginas que cambian a diario. Si sus páginas nuevas ya se descargan el mismo día en que se publican, no necesita ocuparse de ello. Para un sitio como el de Bloemenatelier Lotte, con treinta páginas, no es un tema. Basta con un sitemap actualizado y echar de vez en cuando un vistazo al informe de indexación.

En la práctica: el registro de su servidor

En DirectAdmin y paneles similares puede consultar el registro de accesos de su sitio. Busque "Googlebot" o "bingbot" y verá qué páginas solicitaron y qué código de estado recibieron. Si ve muchos 404 o errores 5xx, ya sabe por dónde empezar. Con otros proveedores, los registros suelen estar en el panel de cliente con un nombre parecido.

Resumen

• Un rastreador descarga páginas y encuentra direcciones nuevas a través de enlaces y de su sitemap.
• Solo se siguen los enlaces <a href> reales; una página a la que no enlaza nada es una página huérfana.
• Google ejecuta JavaScript, pero más tarde; otros rastreadores a menudo no. El contenido importante debe estar en el HTML.
• El código de estado determina lo que hace un rastreador: 200 procesar, 301 trasladar, 404/410 eliminar, 5xx y 429 rastrear más despacio.
• El presupuesto de rastreo solo importa en sitios muy grandes o que cambian muy rápido.

Cuestionario

Ejercicio

Ejercicio A1.2: ¿Qué ve un rastreador en su página de inicio? Introduzca la dirección de su sitio (o www.wikipedia.org si no tiene un sitio propio). Después indique lo que espera: el código de estado de la página final, la dirección a la que llega tras las redirecciones y si tiene un noindex. El programa descarga la página de inicio como lo haría un rastreador, sin JavaScript, y muestra la cadena de redirecciones, el código de estado, el número de enlaces reales a su propio sitio en el HTML y si el texto de la página se puede leer sin JavaScript.

Para seguir leyendo

Los pasos de estos artículos se refieren a los paneles de WebOké; con otros proveedores funciona de forma parecida.

• Manual de DirectAdmin 4.7: Redirecciones de sitios: redirigir un dominio o una página
• Manual de DirectAdmin 17.2: Resumen del sitio y registros: el registro de errores y el registro de accesos
• Redirigir obligatoriamente a los visitantes a https
• Google, Cómo afectan los códigos de estado HTTP y los errores de red a la Búsqueda de Google: https://developers.google.com/search/docs/crawling-indexing/http-network-errors
• Google, Conceptos básicos de SEO para JavaScript: https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics
• Google, Presupuesto de rastreo para sitios grandes: https://developers.google.com/crawling/docs/crawl-budget