Permitir o bloquear los rastreadores de IA: robots.txt y llms.txt
Los servicios de IA como ChatGPT, Claude, Gemini y Perplexity recopilan páginas web para entrenar modelos, para ofrecer respuestas de búsqueda o para responder a la pregunta de un usuario. Con robots.txt usted indica cuáles de esos robots pueden visitar su sitio. Además, existe la propuesta llms.txt. En este artículo verá qué robots existen, cómo permitirlos o bloquearlos y qué hace y qué no hace llms.txt. Usamos example.com como ejemplo.
1. Los principales robots de IA
La mayoría de las empresas de IA utilizan nombres distintos para entrenar, para buscar y para recuperar páginas a petición de un usuario. Así puede, por ejemplo, bloquear el entrenamiento y seguir apareciendo en las respuestas de búsqueda.
| Nombre en robots.txt | De | Para qué |
|---|---|---|
GPTBot | OpenAI | Recopilar páginas que pueden utilizarse para entrenar modelos |
OAI-SearchBot | OpenAI | La función de búsqueda de ChatGPT. Si lo bloquea, su sitio no aparecerá en las respuestas de búsqueda de ChatGPT |
ChatGPT-User | OpenAI | Recuperar una página cuando un usuario lo solicita. Según OpenAI, es posible que robots.txt no se aplique en este caso |
ClaudeBot | Anthropic | Recopilar páginas que pueden utilizarse para entrenar modelos |
Claude-SearchBot | Anthropic | Indexar páginas para la función de búsqueda de Claude |
Claude-User | Anthropic | Recuperar una página cuando un usuario lo solicita |
Google-Extended | No es un robot independiente, sino un nombre con el que usted indica si Google puede utilizar su contenido para entrenar los modelos de Gemini y para grounding. Según Google, esto no afecta a su posición en la Búsqueda de Google | |
PerplexityBot | Perplexity | Mostrar y enlazar sitios en los resultados de búsqueda de Perplexity, no para entrenamiento |
Perplexity-User | Perplexity | Recuperar una página cuando un usuario lo solicita. Según Perplexity, este robot normalmente ignora robots.txt |
La lista cambia con frecuencia. Consulte los nombres actuales en la documentación de OpenAI, Anthropic, Google y Perplexity.
2. Un ejemplo de robots.txt
Este ejemplo bloquea el entrenamiento de modelos, pero permite los robots de búsqueda y los buscadores habituales:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Un robot solo sigue el grupo con su propio nombre y, si no lo hay, el grupo
*. En el ejemplo, GPTBot no puede acceder a ninguna parte, yDisallow: /winkelmand/no se aplica a GPTBot. - Si desea permitir todos los robots de IA, no tiene que hacer nada: sin reglas, todo está permitido.
- Si bloquea por error un robot de búsqueda, como
OAI-SearchBot,Claude-SearchBotoPerplexityBot, su sitio será más difícil de encontrar en esos servicios de búsqueda con IA. - El bloqueo solo funciona a partir de ese momento. Lo que ya se haya recopilado antes no se recupera con él.
public_html de su dominio. Puede crearlo o editarlo mediante el Administrador de archivos o por FTP. WordPress genera su propio robots.txt mientras no exista ningún archivo, y el AI Builder coloca uno automáticamente al publicar. Para saber más sobre cómo funciona robots.txt, consulte Excluir una página de Google: ¿robots.txt o noindex?.3. ¿Qué es llms.txt?
llms.txt es una propuesta de 2024 para un archivo de texto en https://example.com/llms.txt. En él escribe, en Markdown, una breve descripción de su sitio y enlaces a las páginas más importantes, para que un servicio de IA vea rápidamente dónde está la información relevante. Un ejemplo sencillo:
# Panadería Ejemplo > Panadería artesanal en Valencia con pan, bollería y tartas por encargo. ## Páginas importantes - [Productos](https://example.com/assortiment): pan, bollería y tartas - [Pedidos](https://example.com/bestellen): encargar y recoger tartas - [Contacto](https://example.com/contact): dirección y horario
Conviene saber:
- llms.txt no es un estándar oficial, sino una propuesta. No hay garantía de que los servicios de IA lean el archivo. Google ha indicado que la Búsqueda de Google no lo utiliza.
- llms.txt no bloquea nada. Si desea impedir el acceso a robots, utilice robots.txt.
- El archivo no se crea solo: debe crearlo usted o dejar que lo genere un plugin.
4. Crear llms.txt en WordPress
Los plugins de SEO más conocidos pueden crear y mantener llms.txt por usted:
- Yoast SEO: vaya a Yoast SEO, Ajustes, Características del sitio y active llms.txt en las funciones de IA. Puede dejar que Yoast elija las páginas o seleccionarlas usted mismo.
- Rank Math: active el módulo LLMS Txt en el Escritorio de Rank Math. A continuación encontrará los ajustes en Ajustes generales.
Los nombres de los menús varían según la versión. Si no ve la opción, actualice el plugin. Después puede ver el archivo en https://sudominio.es/llms.txt.
Sin WordPress, cree el archivo usted mismo: un archivo de texto llms.txt en la carpeta public_html, igual que robots.txt.
Explicación detallada con capturas de pantalla: Sitemap y robots.txt en WordPress y en su propio sitio y Sitemap y robots.txt en el AI Builder en el manual Cómo aparecer en internet.
¿Quiere aprender más? Siga el curso gratuito Cómo aparecer en internet, lección 3.3 robots.txt: qué bloquear y qué no.