¿Necesitas controlar cómo los motores de búsqueda rastrean tu sitio web? Este generador de robots.txt te permite crear un archivo robots.txt personalizado para indicar a Google, Bing y otros buscadores qué páginas deben indexar y cuáles deben ignorar. Perfecto para profesionales SEO, desarrolladores web y administradores de sitios que quieren optimizar el rastreo de su sitio, proteger contenido privado y mejorar su posicionamiento.
✓ User-agent personalizable ✓ Reglas Allow/Disallow ✓ Sitemap incluido ✓ Crawl-delay configurable ✓ User-agents adicionales ✓ Ejemplos predefinidos ✓ Código listo para copiar ✓ Compatible con Googlebot, Bingbot y más
Crea un archivo robots.txt para controlar cómo los motores de búsqueda rastrean tu sitio web. Define qué páginas indexar y cuáles excluir.
* robots.txt se coloca en la raíz de tu sitio web (ej: https://tusitio.com/robots.txt)
No hay generaciones guardadas
robots.txt es un archivo que se coloca en la raíz de un sitio web para dar instrucciones a los robots de los motores de búsqueda sobre qué partes del sitio pueden o no pueden rastrear.
Selecciona el user-agent principal, elige entre permitir todo, bloquear todo o reglas personalizadas. Añade user-agents adicionales si lo necesitas, configura el crawl-delay y genera el archivo.
Allow indica qué rutas pueden rastrearse. Disallow indica qué rutas NO pueden rastrearse. El orden de las reglas puede afectar cómo se aplican.
Crawl-delay especifica el tiempo (en segundos) que un robot debe esperar entre peticiones. Útil para evitar sobrecargar el servidor en sitios con muchos recursos.
No completamente. Si otras páginas enlazan a tu contenido, Google puede indexarlo aunque esté bloqueado en robots.txt. Para evitar indexación, usa meta robots "noindex".