Sitemap y robots.txt en WordPress y en su propio sitio web

Un sitemap es una lista de las direcciones que desea que aparezcan en los buscadores. Un robots.txt indica a los buscadores qué direcciones no deben visitar y dónde se encuentra su sitemap. A continuación le explicamos cómo comprobarlos en WordPress y en un sitio web que usted mismo crea.

WordPress

Desde la versión 5.5, WordPress crea automáticamente un sitemap y un robots.txt:

• El sitemap se encuentra en https://jouwdomein.nl/wp-sitemap.xml.
• El robots.txt es virtual: no hay ningún archivo en su carpeta web, pero WordPress lo muestra en https://jouwdomein.nl/robots.txt, con una referencia al sitemap.
• ¿Utiliza un plugin de SEO, como Yoast SEO o Rank Math? En ese caso, el plugin suele crear su propio sitemap, por ejemplo sitemap_index.xml. Encontrará la dirección en los ajustes del plugin. Esa es la dirección que debe enviar a Google y Bing.

Un robots.txt estándar de WordPress tiene más o menos este aspecto:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

¿Está WordPress bloqueando a los buscadores?

1. Inicie sesión en WordPress y vaya a Ajustes y después a Lectura.
2. En la visibilidad en los motores de búsqueda, fíjese en la casilla Disuadir a los motores de búsqueda de indexar este sitio.
3. Esa casilla debe estar desmarcada. Haga clic en Guardar cambios.

Si la casilla está marcada, WordPress pide a los buscadores que ignoren todo su sitio web. Es habitual activarla durante la construcción del sitio y olvidarse después de desactivarla.

Encontrará más información sobre la visibilidad en WordPress en Visibilidad: lo básico.

Su propio robots.txt

Si coloca usted mismo un archivo robots.txt en su carpeta web, este tiene prioridad sobre el robots.txt virtual de WordPress. En un plan de hosting de WebOké, la carpeta web es public_html de su dominio. Puede subir el archivo con el Administrador de archivos de DirectAdmin (consulte Abrir el Administrador de archivos: las carpetas de su plan) o por FTP.

Un robots.txt sencillo que lo permite todo y apunta a su sitemap:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Un sitio web que usted mismo crea

¿Crea su sitio web usted mismo o con otro programa? Compruebe entonces si ese programa genera un sitemap. Si no es así, puede prescindir de él: un sitio pequeño con buenos enlaces entre sus páginas también se encuentra. Aun así, un sitemap ayuda. Colóquelo en su carpeta web e indíquelo en su robots.txt, como se muestra más arriba.

Comprobar

• Abra https://jouwdomein.nl/robots.txt. ¿Aparece Disallow: / debajo de User-agent: *? En ese caso, ningún buscador puede visitar su sitio web. Elimine esa línea cuando su sitio esté terminado.
• ¿Hay una línea Sitemap:? Abra esa dirección en su navegador. Debería ver una lista con las direcciones de su sitio web, con https y su propio dominio.

Consejo: el robots.txt no impide que una página aparezca en Google. Una página que no se puede visitar puede aparecer igualmente en los resultados de búsqueda si otros sitios web enlazan a ella. Si de verdad quiere mantener una página fuera de Google, utilice un noindex. Encontrará la diferencia en la lección robots.txt: lo que bloquea y lo que no del curso Ser encontrado en internet.