Mantener una página fuera de Google: ¿robots.txt o noindex?
¿Quiere evitar que una página aparezca en Google, por ejemplo una página de agradecimiento, una página de pruebas o una promoción antigua? Mucha gente piensa entonces en el archivo robots.txt. Pero robots.txt no mantiene una página fuera de Google. Para eso está noindex. En este artículo descubrirá la diferencia, cómo usar ambos y qué hacer con una página que haya eliminado. Utilizamos example.com como ejemplo.
La diferencia en resumen
| robots.txt | noindex | |
|---|---|---|
| Qué indica | "No recuperes esta página." | "No incluyas esta página en los resultados de búsqueda." |
| ¿Mantiene una página fuera de Google? | No. Si otros enlazan a la página, la dirección puede seguir apareciendo, sin descripción. | Sí, en cuanto Google vuelva a visitar la página. |
| ¿Dónde se indica? | Un único archivo en https://example.com/robots.txt | En la propia página, o como encabezado que envía el servidor |
| ¿Para qué se utiliza? | Para dirigir el tráfico de rastreo, por ejemplo para omitir las páginas de resultados de búsqueda de su propio sitio | Para páginas que siguen siendo accesibles, pero no deben aparecer en Google |
Ninguno de los dos métodos es una protección. Cualquiera puede leer su robots.txt, y una página con noindex sigue siendo accesible. Si algo debe estar realmente protegido, colóquelo detrás de una contraseña. Consulte Proteger una carpeta con contraseña en DirectAdmin.
Usar noindex
Añada esta línea en el <head> de la página:
<meta name="robots" content="noindex">
Para archivos sin HTML, como un PDF, el servidor puede enviar la misma instrucción como encabezado: X-Robots-Tag: noindex. El efecto es el mismo.
Normalmente no necesita escribirlo usted mismo:
- AI Builder: abra la sección SEO, seleccione la página y desactive, en Más opciones para esta página, el interruptor Esta página visible en Google. La página seguirá siendo accesible, pero recibirá un noindex. Después, vuelva a publicar.
- WordPress: un plugin de SEO tiene una opción por página para no indexarla. La casilla Desalentar a los motores de búsqueda a indexar este sitio, en Ajustes, Lectura, se aplica a todo el sitio.
- Otros creadores de sitios web: busque una opción similar a "ocultar de los motores de búsqueda".
Crear o modificar robots.txt
En un paquete de hosting, robots.txt se encuentra en la carpeta web de su dominio, en DirectAdmin la carpeta public_html. Puede crear o editar el archivo mediante el Administrador de archivos o por FTP, consulte Abrir el Administrador de archivos: las carpetas de su paquete. Un ejemplo:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *se aplica a todos los robots de búsqueda.Disallow:con una ruta prohíbe todo lo que empiece con esa ruta.Disallow: /prohíbe todo el sitio.- Si crea también un grupo
User-agent: Googlebot, Google seguirá únicamente ese grupo e ignorará el grupo*. Repita en ese caso todas las reglas que también se apliquen a Google. - No bloquee carpetas con hojas de estilo, scripts o imágenes que su página necesite.
- No tener robots.txt no es un problema: en ese caso todo está permitido. Si la dirección devuelve un error del servidor, Google deja de recuperarla temporalmente.
WordPress genera su propio robots.txt mientras no haya ningún archivo en la carpeta web. AI Builder añade automáticamente un robots.txt con una línea Sitemap: al publicar.
Google suele guardar su robots.txt hasta 24 horas. En Search Console encontrará, en Configuración, el informe de robots.txt: qué versión recuperó Google por última vez, con errores y advertencias, y un botón para solicitar que vuelva a recuperarlo.
Una página eliminada: 404 o 410, no un soft 404
Si ha eliminado una página, la dirección debería devolver el código de estado 404 (no encontrado) o 410 (desaparecido). En la siguiente visita, Google eliminará entonces la dirección de los resultados de búsqueda. Si la página tiene una sucesora, redirija la dirección antigua con un 301 hacia la nueva página, consulte Redirección de sitio: redirigir un dominio o una página.
Un soft 404 es una página que indica que no existe, o que está casi vacía, pero que aun así devuelve el código 200 (encontrado). Google suele reconocerlo y no incluye esa página. En Search Console lo verá como motivo Soft 404. Redirigir todas las páginas eliminadas a su página de inicio también puede considerarse un soft 404. Por tanto, asegúrese de que una página realmente desaparecida devuelva un 404 o 410 real.
¿Necesita que una página desaparezca rápidamente de los resultados, por ejemplo porque contenía datos personales por error? Utilice entonces Eliminaciones en Search Console. Esto funciona de forma temporal, durante unos seis meses. Por ello, asegúrese también de que la página tenga un 404, 410, contraseña o noindex.
Más información
- Google: Bloquear la indexación con noindex (en inglés)
- Google: Introducción a robots.txt (en inglés)
- Google: informe de robots.txt
- Bloquear archivos mediante .htaccess
¿Utiliza WordPress? En la lección Visibilidad: lo básico del curso gratuito de WordPress encontrará más información sobre robots.txt y la casilla Desalentar a los motores de búsqueda.