De búsqueda
Leen la web para poder citarla cuando alguien hace una pregunta. Son los que me interesan si quiero que el negocio aparezca. Bloquearlos lo deja fuera de las respuestas con enlace.
Inicio › Recursos › SEO para IA
Rastreadores de IA y robots.txt: cuáles dejar entrar y cuáles no
Sé que los asistentes de IA pueden leer mi web porque la han citado: en una prueba que hice, apareció como fuente en 4 de 15 respuestas. Esa es la comprobación que más me fío. Te explico qué robots hay, cuáles dejo entrar y cuáles no, y el bloqueo que puede estar activo sin que el dueño lo sepa.
Por Alberto Herrero · Alberseo
Mi criterio
Si quiero que los asistentes de IA puedan recomendar un negocio, dejo entrar a sus rastreadores de búsqueda. Si el dueño no quiere que su contenido se use para entrenar modelos, cierro los de entrenamiento por separado: son robots distintos. Y, pase lo que pase, nunca bloqueo a Googlebot: es el que mantiene la web en Google.
Todo eso se decide en el archivo robots.txt: un archivo de texto en la raíz del dominio, público, que cualquier robot serio consulta antes de leer la web. Es de lo primero que abro en una revisión.
Dato propio: la prueba de que leen mi web
La forma más directa de saber si los asistentes pueden entrar en una web no está en el archivo: está en sus respuestas. En una prueba con mi negocio, en noviembre de 2026, mi web apareció citada como fuente en 4 de 15 respuestas: 3 de Gemini y 1 de ChatGPT. Eso confirma, sin mirar un solo registro, que esos dos sistemas llegan a la página y la leen.
En cambio, en los resúmenes con IA de Google no apareció ninguna vez, y ahí el motivo no es un bloqueo: la misma web está indexada y Googlebot la rastrea cada pocos días. Que no me citen no significa que no puedan entrar.
Mi regla práctica: si un asistente nunca cita una web en ninguna pregunta, ni siquiera cuando pregunto por la marca, reviso bloqueos. Si la cita a veces, el acceso funciona y el trabajo está en el contenido. El detalle está en este estudio.
Los tres tipos de rastreador de IA
De entrenamiento
Recogen contenido que puede usarse para mejorar los modelos. Permitirlos o no es una decisión de cada negocio; cerrarlos no lo quita de la búsqueda.
A petición de un usuario
Visitan una página concreta porque alguien le ha pedido al asistente que la lea. Es lo más parecido a una visita de una persona.
Los rastreadores más habituales
Cada empresa publica el nombre y la función de sus rastreadores, y pueden cambiar. Yo los compruebo en su documentación oficial antes de bloquear nada.
| Nombre | Empresa | Tipo | Lo que suelo hacer |
|---|---|---|---|
| Googlebot | Buscador (y base de sus respuestas con IA) | Permito siempre | |
| Google-Extended | Control de uso para mejorar Gemini; no rastrea por sí mismo ni afecta al buscador | Lo decide el dueño | |
| Bingbot | Microsoft | Buscador, usado también por asistentes | Permito siempre |
| OAI-SearchBot | OpenAI | Búsqueda de ChatGPT | Permito, si quiero que cite la web |
| ChatGPT-User | OpenAI | A petición de un usuario | Permito |
| GPTBot | OpenAI | Entrenamiento | Lo decide el dueño |
| PerplexityBot | Perplexity | Búsqueda | Permito, si quiero que cite la web |
| Perplexity-User | Perplexity | A petición de un usuario | Permito |
| Claude-SearchBot | Anthropic | Búsqueda | Permito, si quiero que cite la web |
| Claude-User | Anthropic | A petición de un usuario | Permito |
| ClaudeBot | Anthropic | Entrenamiento | Lo decide el dueño |
| Applebot-Extended | Apple | Control de uso para entrenamiento | Lo decide el dueño |
| CCBot | Common Crawl | Archivo abierto de la web, usado por muchos proyectos | Lo decide el dueño |
Cómo lee un robot el robots.txt
- Busca el grupo con su nombre. Si existe un bloque para él, sigue ese y solo ese. Si no, sigue el bloque general (
User-agent: *). - Los grupos no se suman. Si creo un bloque para un robot concreto, deja de aplicarle lo que puse en el general. Tengo que repetir ahí las reglas que quiera mantener.
- Gana la regla más específica. Entre un permiso y una prohibición que coinciden, se aplica la de la ruta más larga.
- Las rutas distinguen mayúsculas. /Blog/ y /blog/ son distintas.
- Va en la raíz. Tiene que estar en tudominio.com/robots.txt. En otra carpeta no cuenta.
- Si no existe, todo está permitido. No tener robots.txt no es un error.
Las tres configuraciones de las que parto
Abierto a todo
La opción más sencilla y la habitual para un negocio local que quiere la máxima visibilidad.
User-agent: * Allow: / Sitemap: https://tudominio.com/sitemap.xml
Búsqueda sí, entrenamiento no
Los asistentes pueden citar la web, pero se pide que no usen el contenido para entrenar modelos.
User-agent: * Allow: / User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / Sitemap: https://tudominio.com/sitemap.xml
Solo buscadores clásicos
Se cierra también la búsqueda de los asistentes. Aviso siempre del coste: dejan de poder citar la web con enlace.
User-agent: * Allow: / User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Claude-SearchBot Disallow: / Sitemap: https://tudominio.com/sitemap.xml
Lo que robots.txt no controla
El cortafuegos del alojamiento
Muchos servicios de alojamiento y de protección incluyen una opción para bloquear “bots de IA” que actúa antes que robots.txt. Se puede tener todo permitido en el archivo y estar bloqueándolos sin saberlo. Lo reviso en el panel del proveedor.
El contenido que solo aparece con scripts
Por lo general, los rastreadores de IA leen el código de la página tal como llega y no siempre ejecutan los scripts. Si el texto principal se carga después, pueden no verlo. Por eso dejo lo importante en el HTML.
Lo que ya está publicado en otros sitios
La ficha, los directorios y las reseñas siguen siendo fuentes aunque se cierre la web.
Los robots que no lo respetan
Es una petición, no un muro. Para proteger algo de verdad hace falta contraseña.
Cómo compruebo quién visita una web
Abro el robots.txt publicado
Escribo tudominio.com/robots.txt en el navegador y leo lo que hay, no lo que creo que hay.
Lo pruebo en Search Console
En Configuración → robots.txt veo la versión que Google ha leído y si tiene errores.
Miro los registros del servidor
Si el alojamiento los ofrece, busco los nombres de la tabla. Ahí se ve qué robots entran, a qué páginas y con qué frecuencia.
Desconfío del nombre a secas
Cualquiera puede hacerse pasar por un robot conocido. Las empresas publican las direcciones desde las que rastrean; si necesito certeza, lo compruebo contra esas listas.
Pregunto al asistente
Le pido que lea una página concreta de la web. Si dice que no puede acceder, algo lo bloquea.
Mi checklist de robots.txt
Los errores que más veo
- Copiar una lista de bloqueo de internet sin leerla y cerrar la búsqueda junto con el entrenamiento.
- Dejar el “Disallow: /” de la fase de pruebas. Una línea que saca la web de todos los buscadores.
- Crear un bloque para un robot y olvidar repetir las reglas generales.
- Usar robots.txt para ocultar páginas privadas. Es público: equivale a publicar la lista de lo que se quiere esconder.
- Pensar que basta con el archivo cuando el cortafuegos bloquea por su cuenta.
En una valoración reviso esto siempre. Una regla heredada de una plantilla antigua, o una opción activada por defecto en el alojamiento, puede estar bloqueando a los asistentes sin que el dueño lo sepa. Se detecta en minutos en la valoración gratuita.
Preguntas frecuentes
¿Si bloqueo GPTBot dejo de aparecer en ChatGPT?
No necesariamente: GPTBot es el de entrenamiento y OAI-SearchBot el de búsqueda. Se configuran por separado.
¿Hace falta tocar robots.txt para aparecer en las IA?
Solo si algo lo está bloqueando. Si se permite a todos por defecto, no hace falta añadir nada.
¿Y si no puedo editar el archivo?
Reviso el resultado publicado y, si bloquea algo importante, lo corrijo en la plataforma o con quien aloja la web.
¿Bloquear Google-Extended me perjudica en Google?
No. Solo afecta al uso del contenido para mejorar los modelos de Gemini, no a la presencia en el buscador.
¿Cuánto tarda en aplicarse un cambio?
Cada robot vuelve a leer el archivo cada cierto tiempo, normalmente en horas o pocos días.
¿Los rastreadores de IA consumen recursos de mi web?
En una web pequeña suele ser inapreciable. Si noto un rastreo excesivo, limito el robot concreto.
¿Sirve una etiqueta en la página en lugar de robots.txt?
Las etiquetas como noindex controlan la indexación, no el acceso. Lo explico en noindex frente a robots.txt.
Escrito por Alberto Herrero · Alberseo
Consultor SEO desde hace más de 15 años. Los datos de esta página salen de mis propios proyectos, sobre todo de BarnaKey, un negocio de llaves de coche en Barcelona que posiciono desde hace seis años. Cuando algo no lo he medido yo, lo digo.
¿Quieres que lo revise en tu web?
La valoración es gratuita y sin compromiso.
Pedir mi valoración gratis