Indexación: qué entra en el índice y qué no

Módulo 1: Cómo funcionan los buscadores · Tiempo de lectura: 11 minutos

Objetivo de aprendizaje: Después de esta lección podrá evaluar si una página puede entrar en el índice y, si no puede, cuál de las cuatro "barreras" la detiene: el código de estado, robots.txt, noindex o el canonical.

Conceptos clave: indexación, requisitos técnicos de Google, noindex (meta robots y X-Robots-Tag), robots.txt no es un noindex, canonicalización, contenido duplicado, soft 404, "Rastreada: actualmente sin indexar", "Descubierta: actualmente sin indexar", sin garantía

Qué ocurre al indexar

Una vez que el rastreador ha descargado una página (lección 1.2), el buscador la lee. Google analiza el texto, el título, los encabezados, las imágenes y los vídeos, y determina en qué idioma está la página. Google también averigua si la página es una copia de otra y cuál de esas copias es la "auténtica". Solo entonces decide si la página entra en el índice.

Google dice dos cosas al respecto que conviene recordar bien:

• La inclusión no está garantizada. Aunque su página cumpla todos los requisitos, Google puede decidir no incluirla.
• Es normal que no todo esté incluido. En la ayuda del informe de indexación, Google escribe literalmente que no debe esperar que todas las direcciones de su sitio estén indexadas, y que eso puede estar perfectamente bien. Lo que importa son sus páginas importantes.

Los tres requisitos técnicos

Google menciona tres requisitos técnicos para poder optar al índice:

1. Googlebot no está bloqueado. La página es accesible y robots.txt no prohíbe descargarla.
2. La página funciona. El servidor devuelve el código de estado 200, no un error.
3. La página tiene contenido indexable. Texto en un tipo de archivo que Google puede leer y sin infringir las políticas sobre spam.

En la práctica se añaden dos decisiones del propietario del sitio: un noindex ("no incluya esto") y un canonical que apunta a otra dirección ("esta no, sino aquella"). En total, eso da cuatro barreras que una página tiene que superar.

Barrera 1: el código de estado

Solo una página con estado 200 puede entrar en el índice. Un 301 o un 308 redirige al buscador a la nueva dirección; entonces se evalúa esa nueva dirección. Un 404 o un 410 elimina del índice una dirección que antes estaba incluida.

La variante complicada es el soft 404 de la lección 1.2: estado 200, pero el contenido es un mensaje de error o una página casi vacía. Google suele reconocerlo y no incluye esa página. También una página de categoría vacía en una tienda online ("no se han encontrado productos") puede considerarse un soft 404.

Barrera 2: robots.txt

Con robots.txt usted prohíbe a un rastreador descargar una página. Eso es algo distinto de prohibir que la incluya. Google lo deja claro: robots.txt no es una forma de mantener una página fuera de Google. Si otros sitios enlazan a una página bloqueada, la dirección puede aparecer igualmente en los resultados, solo que sin descripción. En Search Console esto se llama "Indexada, aunque un archivo robots.txt la ha bloqueado".

Robots.txt sirve para dirigir el tráfico de rastreo: por ejemplo, para evitar que un rastreador recorra miles de páginas de resultados de búsqueda de su propio sitio. La lección 3.3 lo trata con más detalle.

Barrera 3: noindex

Si de verdad quiere que una página no aparezca en los resultados de búsqueda, utilice noindex. Puede hacerse de dos maneras, con el mismo efecto:

<!-- en el <head> de la página -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

La segunda es una cabecera HTTP que envía el servidor. También funciona con archivos que no son HTML, como un pdf. El valor none significa lo mismo que noindex, nofollow. Con <meta name="googlebot" content="noindex"> la regla solo se aplica a Google; otros buscadores pueden interpretar una regla general de otra manera.

Ahora viene el error que se comete con mucha frecuencia: noindex y un bloqueo en robots.txt no funcionan juntos. Si robots.txt bloquea la página, Google no la descarga y, por tanto, nunca ve el noindex. La página puede entonces entrar en el índice a través de enlaces de otros sitios. Si quiere que una página desaparezca de Google: deje que se descargue y póngale noindex.

¿Dónde puede encontrarse con un noindex sin querer?

• En WordPress, en Ajustes, Leer, está la casilla "Disuadir a los motores de búsqueda de indexar este sitio". Eso pone un noindex en todo el sitio. Útil durante la construcción, desastroso si olvida desactivarlo.
• En AI Builder puede configurar un sitio o una página como "no indexar"; entonces se añade un noindex, nofollow a la página. Un sitio de demostración gratuito tampoco se indexa nunca.
• Un plugin de SEO o un tema con un ajuste incorrecto por página o por tipo de página.

Otros creadores de sitios web tienen interruptores parecidos, a menudo con un nombre como "ocultar a los buscadores".

Barrera 4: el canonical

Muchos sitios tienen la misma página en varias direcciones: con y sin www, con http y https, con un parámetro al final como ?utm_source=nieuwsbrief. De cada uno de esos grupos, Google elige una dirección como versión canónica y muestra solo esa dirección en los resultados. Las demás son duplicados.

Puede ayudar a Google a elegir con una redirección (una señal fuerte) o con una referencia canonical en la página:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Un canonical es una señal, no una orden: Google puede elegir otra dirección. Si su canonical apunta a otra dirección, la propia página está diciendo: "no me incluya a mí, sino a aquella otra". Eso está bien si es correcto, y es un problema si se trata de un error, por ejemplo si todas las páginas apuntan a la página de inicio. La lección 3.5 profundiza en ello.

Según Google, el contenido duplicado dentro de su propio sitio no infringe las políticas sobre spam y no da lugar a una acción manual. Sí es ineficiente: los rastreadores descargan lo mismo varias veces y usted no decide qué dirección aparece en los resultados.

Los avisos en Search Console

En el informe Páginas de Search Console (lección 2.4) verá un motivo para cada página no indexada. Las cuatro barreras aparecen todas:

Los dos últimos no son errores técnicos. "Rastreada: actualmente sin indexar" es muy habitual; Google dice que no siempre es un problema. Si se trata de una página importante, compruebe si de verdad aporta algo: una página única y útil tiene más posibilidades que una página pobre que se parece a otras diez.

Resumen

• Después del rastreo, el buscador decide si una página entra en el índice; nunca está garantizado y no hace falta que entre todo.
• Cuatro barreras: estado 200, sin bloqueo en robots.txt, sin noindex, canonical ausente o apuntando a sí misma.
• robots.txt prohíbe la descarga, no la inclusión. Utilice noindex para mantener algo fuera de los resultados y, en ese caso, no bloquee esa página en robots.txt.
• Un canonical es una señal fuerte, no una orden. El contenido duplicado no es spam, pero sí es ineficiente.
• "Rastreada: actualmente sin indexar" no es un error técnico; fíjese en el valor de la página.

Cuestionario

Ejercicio

Ejercicio A1.3: ¿Puede esta página entrar en el índice? Introduzca la dirección de una página (una página de su propio sitio, o una página que oculta a propósito, como una página de agradecimiento). Después elija lo que espera: "puede entrar en el índice" o "no puede entrar en el índice" y, si elige "no puede", qué barrera la detiene (código de estado, robots.txt, noindex, canonical hacia otra dirección). El programa revisa las cuatro barreras como en esta lección y coloca su resultado junto al suyo.

Para seguir leyendo

• Google, Requisitos técnicos de la Búsqueda de Google: https://developers.google.com/search/docs/essentials/technical
• Google, Bloquear la indexación con noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Introducción a robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Consolidar URLs duplicadas (canonicalización): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Ayuda de Google Search Console, Informe de indexación de páginas: https://support.google.com/webmasters/answer/7440203