CONTACTO
info@toolspivot.comDIRECCIÓN
Ward No.1, Nehuta, P.O - Kusha, P.S - Dobhi, Gaya, Bihar, India, 824220Crea un robots.txt que haga lo que quieres: rastreadores actuales de buscadores y IA, puntos de partida listos para usar, patrones con comodines y comprobaciones que detectan los errores que sacan un sitio de Google. Funciona en tu navegador.
Solicitamos el robots.txt de ese sitio desde nuestro servidor y mostramos exactamente lo que devuelve.
Deja un robot en "Reglas generales" salvo que necesite otro trato.
| * representa cualquier cadena de caracteres, incluso vacía. $ marca el final de la dirección. Sin él, una regla coincide con todo lo que empieza por la ruta. | |
/*.pdf$ | toda dirección que termina en .pdf |
/*? | toda dirección con cadena de consulta |
/thank-you$ | solo esa página, pero no /thank-you/more ni /thank-you?x=1 |
/*/feed/ | un feed en cualquier carpeta |
/*?sort= /*&sort= | listados ordenados, aparezca donde aparezca el parámetro |
/private/ | la carpeta y todo lo que contiene. /private (sin barra final) también coincidiría con /private-notes |
| Cuando dos reglas coinciden, gana la más larga. Si miden lo mismo, gana Allow. Las rutas distinguen mayúsculas de minúsculas: /Page y /page son distintas. | |
Google ignora Crawl-delay. Bing y algunos otros lo respetan.
Sirve para mostrar dónde va el archivo y completar las direcciones del sitemap.
El generador de robots.txt es una herramienta que crea el archivo de exclusion de rastreadores para tu sitio web, sin necesidad de escribir codigo a mano. Configuras que bots pueden acceder, que directorios bloquear y donde esta tu sitemap. En segundos tienes un archivo listo para subir a la raiz de tu dominio. Para quienes gestionan webs en WordPress, Shopify o PrestaShop, el generador de robots.txt de ToolsPivot elimina el riesgo de cometer errores de sintaxis que podrian sacar paginas enteras de Google.
El robots.txt es un archivo de texto plano que se coloca en la raiz de un dominio para indicar a los rastreadores web que paginas pueden visitar y cuales no. Funciona como un protocolo de exclusion: los bots de Google, Bing o Baidu lo consultan antes de empezar a rastrear cualquier URL de tu sitio.
Lo cierto es que muchos propietarios de webs ni saben que este archivo existe. Y eso tiene consecuencias directas en el SEO. Sin un robots.txt bien configurado, los rastreadores gastan su presupuesto de rastreo en paginas irrelevantes como el panel de administracion, los filtros de busqueda interna o las paginas de carrito.
En 2025, Cloudflare descubrio que solo el 37% de los 10.000 sitios web mas grandes tenian un archivo robots.txt configurado. Eso significa que la mayoria de webs dejan que los bots decidan por su cuenta que rastrear. Con ToolsPivot puedes generar este archivo en menos de un minuto, con la seguridad de que la sintaxis es correcta y las directivas hacen exactamente lo que necesitas.
Desarrolladores web, consultores SEO y administradores de sistemas son los perfiles mas habituales. Pero no solo ellos. Un freelancer en Workana que monta webs con WordPress necesita configurar este archivo para cada cliente. Una agencia de marketing digital en Madrid o Ciudad de Mexico lo usa cada vez que lanza un proyecto nuevo. Y un estudiante de informatica preparando su TFG sobre SEO tecnico necesita entender como funciona.
A efectos practicos, cualquier persona que gestione un sitio web deberia tener un robots.txt. La herramienta simplifica lo que de otro modo requeriria editar manualmente un archivo de texto y rezar para no equivocarte con una barra o un espacio.
Cero errores de sintaxis. La herramienta formatea las directivas automaticamente, evitando los fallos tipicos que bloquean paginas sin querer.
Optimizacion del presupuesto de rastreo. Diriges a los bots hacia las paginas que importan, en lugar de dejar que pierdan tiempo en directorios sin valor SEO.
Proteccion de areas privadas. Bloquea paneles de administracion, zonas de staging y directorios con datos sensibles para que no aparezcan en los resultados de busqueda.
Control sobre bots de IA. Configura reglas especificas para rastreadores como GPTBot, CCBot o Claude-Web, decidiendo si pueden acceder a tu contenido para entrenar modelos de lenguaje.
Compatible con cualquier CMS. Funciona igual para WordPress, Shopify, PrestaShop, Wix o sitios estaticos. El archivo generado sigue el estandar universal.
Incluye referencia al sitemap. Puedes agregar la URL de tu mapa del sitio directamente en el archivo, facilitando que los bots descubran todas tus paginas.
Sin registro ni limites. Genera tantos archivos como necesites sin crear cuenta ni pagar nada.
Seleccion de User-Agent. Elige entre los principales rastreadores (Googlebot, Bingbot, Baiduspider, Yahoo, Naver) o aplica reglas a todos con el comodin asterisco.
Directivas Allow y Disallow. Agrega rutas permitidas o bloqueadas con el formato correcto, incluyendo barras finales y caracteres comodin.
Campo de Sitemap. Introduce la URL completa de tu sitemap XML para que los rastreadores lo encuentren sin depender solo de Search Console.
Configuracion de Crawl-Delay. Establece intervalos de espera entre peticiones (desde 5 hasta 120 segundos) para proteger servidores con recursos limitados.
Vista previa en tiempo real. Cada cambio que haces se refleja al instante en el codigo generado, para que revises antes de copiar.
Descarga directa. Guarda el archivo como robots.txt con un clic, listo para subirlo por FTP o desde el gestor de archivos de tu hosting.
Directorios restringidos. Campos dedicados para escribir las rutas que quieres bloquear, sin tener que recordar la sintaxis exacta de cada directiva.
Reglas individuales por bot. Configura permisos diferentes para Google, Bing, Yahoo, Baidu y otros rastreadores en el mismo archivo.
Paso 1. Accede al generador de robots.txt y selecciona el comportamiento predeterminado: permitir o rechazar el acceso a todos los bots.
Paso 2. Configura los rastreadores individuales. Si quieres que Google rastree todo pero Baidu no, ajusta cada uno desde los desplegables.
Paso 3. Escribe en los campos de directorios restringidos las rutas que quieres bloquear, una por linea. Por ejemplo: /wp-admin/, /checkout/, /staging/.
Paso 4. Introduce la URL de tu sitemap (normalmente tudominio.com/sitemap.xml) y selecciona un crawl-delay si tu servidor lo necesita.
Paso 5. Revisa el codigo generado en la vista previa. Copia el texto o descarga el archivo directamente.
Paso 6. Sube el archivo a la raiz de tu dominio. Verifica que funciona visitando tudominio.com/robots.txt desde el navegador.
Este tipo de herramienta se vuelve imprescindible en momentos concretos del ciclo de vida de una web. No es algo que configures una vez y olvides para siempre; hay situaciones que exigen revisar y actualizar el archivo.
Lanzamiento de un sitio nuevo. Antes de que Google descubra tu web, ya deberias tener el robots.txt listo para evitar que indexe secciones incompletas.
Migracion de dominio. Cuando cambias la estructura de URLs o mueves de HTTP a HTTPS, las reglas antiguas probablemente ya no apliquen.
Instalacion de nuevos plugins. En WordPress, cada plugin puede crear rutas rastreables que no aportan nada al SEO. Revisa con el verificador SEO de sitios web si hay paginas innecesarias en el indice.
Proteger contenido de bots de IA. Desde 2023, muchos propietarios de webs quieren impedir que rastreadores como GPTBot accedan a su contenido para entrenar modelos de inteligencia artificial.
Corregir errores de rastreo. Si Google Search Console muestra URLs bloqueadas que deberian estar indexadas (o al reves), el robots.txt es el primer lugar donde mirar.
Tiendas online con filtros. Los e-commerce en MercadoLibre Shops, Shopify o PrestaShop generan cientos de URLs de filtro que no deben indexarse.
Eso si: el robots.txt no garantiza que una pagina desaparezca de Google. Si otros sitios enlazan a esa URL, puede seguir apareciendo en resultados. Para excluir paginas de forma definitiva, necesitas la etiqueta noindex.
Situacion: Una pyme de Barcelona vende productos artesanales a traves de Shopify y tiene paginas de carrito, checkout y cuenta de usuario que no deben indexarse.
Como lo resuelve:
Resultado: Las paginas de producto aparecen en Google Shopping y busquedas organicas, mientras las areas transaccionales quedan fuera del indice.
Situacion: Una agencia de marketing en Buenos Aires gestiona un blog con Rank Math y necesita evitar que se indexen paginas de autor vacias, archivos de etiquetas y el area de administracion.
Como lo resuelve:
Resultado: El presupuesto de rastreo se concentra en articulos y paginas de servicio, mejorando la frecuencia de indexacion del contenido nuevo.
Situacion: Un portal educativo del Tecnologico de Monterrey tiene versiones en espanol, ingles y portugues organizadas por subdirectorios (/es/, /en/, /pt/).
Como lo resuelve:
Resultado: Google entiende la estructura multilenguaje y muestra la version correcta segun el idioma del usuario que busca.
Situacion: Un desarrollador en Workana entrega un sitio web nuevo y necesita incluir la configuracion SEO tecnica basica como parte del proyecto.
Como lo resuelve:
Resultado: El cliente recibe un proyecto con la configuracion tecnica resuelta, lo que mejora la valoracion del freelancer en la plataforma.
Conocer la sintaxis basica te ayuda a entender que hace cada linea del archivo que genera la herramienta, y a editarlo si en algun momento necesitas ajustes manuales.
User-agent. Define a que rastreador se aplican las reglas que vienen debajo. El asterisco (*) significa "todos los bots". Si escribes Googlebot, las reglas solo afectan al bot de Google.
Disallow. Bloquea una ruta concreta. Disallow: /admin/ impide el rastreo de todo lo que haya dentro de esa carpeta. Si dejas el valor vacio (Disallow:), estas permitiendo el acceso a todo.
Allow. Concede acceso a una ruta dentro de un directorio bloqueado. Se usa mucho para permitir admin-ajax.php dentro de wp-admin, que WordPress necesita para funcionar correctamente.
Sitemap. Indica la URL completa del sitemap XML. Puedes incluir varias lineas Sitemap si tu web tiene generadores de etiquetas meta con sitemaps independientes para paginas, posts e imagenes.
Crawl-delay. Establece los segundos de espera entre peticiones. Google no respeta esta directiva (usa la configuracion de Search Console), pero Bing y Yandex si la aplican.
Ojo, porque un fallo pequeno puede tener consecuencias grandes. Estos son los problemas que vemos con mas frecuencia:
Bloquear todo el sitio por accidente. Escribir Disallow: / bajo User-agent: * sin directivas Allow deja tu web completamente invisible para los buscadores. Es mas comun de lo que parece, sobre todo en migraciones.
Olvidar la distincion entre mayusculas y minusculas. Las rutas en robots.txt son case-sensitive. Si tu carpeta se llama /Imagenes/ pero escribes /imagenes/, la regla no se aplica.
No actualizar despues de cambios en la web. Muchos sitios tienen un robots.txt que se creo hace tres anos y nadie ha vuelto a revisar. Las URL cambian, los plugins generan nuevas rutas, y el archivo queda obsoleto.
Confundir robots.txt con noindex. El robots.txt impide el rastreo, no la indexacion. Si Google encuentra un enlace a tu pagina desde otro sitio, puede indexar la URL aunque el robots.txt la bloquee. Para evitar la indexacion, usa la etiqueta meta noindex.
Poner el archivo en un subdirectorio. El robots.txt solo funciona si esta en la raiz del dominio (tudominio.com/robots.txt). Colocarlo en /pages/robots.txt no tiene ningun efecto.
Antes de subir cualquier cambio, revisa las meta etiquetas de tu sitio para asegurarte de que las directivas noindex y el robots.txt no se contradicen entre si.
Una vez que subes el archivo, no basta con cruzar los dedos. Hay formas concretas de comprobar que todo esta en orden.
La mas directa: abre tu navegador y ve a tudominio.com/robots.txt. Si ves el contenido del archivo, esta correctamente ubicado. Si aparece un error 404, algo fallo en la subida.
Google Search Console tiene una herramienta especifica para probar robots.txt. Introduces una URL de tu sitio y te indica si esta permitida o bloqueada segun las reglas del archivo. Es la verificacion mas fiable porque muestra como Google interpreta tus directivas.
Tambien puedes revisar los informes de cobertura en Search Console. Si hay URLs con el estado "Bloqueada por robots.txt" que deberian estar indexadas, sabes que algo necesita ajuste. Complementa esta revision con el verificador de enlaces rotos para detectar otros problemas tecnicos.
Desde 2023, el debate sobre si permitir que bots de IA rastreen tu contenido ha cobrado mucha fuerza. Rastreadores como GPTBot (OpenAI), CCBot (Common Crawl) y ClaudeBot (Anthropic) respetan el protocolo robots.txt, lo que te permite decidir si tu contenido se usa para entrenar modelos de lenguaje.
Para bloquear estos bots, necesitas agregar reglas especificas:
User-agent: GPTBot / Disallow: /
User-agent: CCBot / Disallow: /
Ahora bien, no todos los bots de IA se comportan igual. Algunos respetan el robots.txt; otros, no tanto. Por eso, el robots.txt es una primera linea de defensa, pero no la unica. Si la proteccion de contenido es critica para tu negocio, combina el robots.txt con medidas de servidor adicionales.
El generador incluye opciones para configurar estos bots de forma sencilla, sin tener que buscar el nombre exacto de cada user-agent.
Completa tu flujo de trabajo de SEO tecnico con estas herramientas de ToolsPivot:
Es un archivo de texto plano ubicado en la raiz de un dominio que indica a los rastreadores web que paginas pueden visitar y cuales deben evitar. Sigue el protocolo de exclusion de robots, un estandar que la mayoria de bots respetan.
No. Los rastreadores indexaran tu sitio igualmente sin el. Pero si tienes paginas que no quieres en los resultados de busqueda o un servidor con recursos limitados, tener uno bien configurado marca una diferencia real.
No necesariamente. El robots.txt bloquea el rastreo, pero si otros sitios enlazan a tu URL, Google puede indexarla aunque no la rastree. Para excluir una pagina del indice, necesitas la etiqueta meta noindex.
Siempre en la raiz del dominio: tudominio.com/robots.txt. No funciona si lo colocas en subcarpetas o subdirectorios.
Si. Cada bloque de reglas empieza con una directiva User-agent que especifica a que bot se aplican. Puedes tener un bloque para Googlebot y otro distinto para Bingbot en el mismo archivo.
No. Google ignora crawl-delay y gestiona la frecuencia de rastreo a traves de Search Console. Bing y Yandex si la respetan, asi que sigue siendo util incluirla si recibes trafico de esos buscadores.
Cada vez que hagas cambios significativos en la estructura de tu web: migraciones, nuevos directorios, instalacion de plugins o lanzamiento de secciones nuevas. Revisarlo una vez al trimestre es buena practica.
Si. Bots como GPTBot, CCBot y ClaudeBot respetan el protocolo. Anade una regla User-agent con el nombre del bot seguida de Disallow: / para impedir el acceso a todo tu sitio.
Usa la herramienta de prueba de robots.txt en Google Search Console. Introduce la URL de cualquier pagina y veras si esta bloqueada o permitida segun tus reglas. Tambien puedes revisar los encabezados HTTP para confirmar que el archivo se sirve correctamente.
Si. El archivo generado sigue el formato estandar y es compatible con cualquier CMS, incluido WordPress. Solo tienes que subirlo a la raiz de tu dominio por FTP o usando el editor de archivos de plugins como Yoast o Rank Math.
Google dejara de rastrearla y, con el tiempo, podria desaparecer de los resultados de busqueda. Por eso conviene verificar siempre el archivo antes de subirlo y monitorizar la cobertura en Search Console despues de cada cambio.
Si. Puedes agregar varias lineas Sitemap: con URLs diferentes, algo habitual en webs con sitemaps separados para paginas, posts, imagenes o videos.
CONTACTO
info@toolspivot.comDIRECCIÓN
Ward No.1, Nehuta, P.O - Kusha, P.S - Dobhi, Gaya, Bihar, India, 824220