Un archivo robots.txt bien elaborado te ayuda a guiar el comportamiento de los bots de los motores de búsqueda.
Tu sitio web es tu activo de marketing entrante más potente, por lo que es crucial gestionar estratégicamente a qué páginas pueden acceder los motores de búsqueda. Con robots.txt, puedes bloquear páginas no esenciales para los rastreadores de los motores de búsqueda y así asegurar que tu contenido más valioso reciba atención y prioridad de indexación, manteniendo una presencia enfocada y de alta calidad en los resultados de búsqueda.
Un archivo robots.txt proporciona directivas para que tengas control sobre cómo los diferentes rastreadores web exploran el sitio de tu empresa. Sigue leyendo para aprender cómo funcionan los rastreadores, qué buscan en un archivo robots.txt y cómo escribirlos.
¿Qué es un archivo robots.txt?
Estos archivos de texto plano se colocan en el directorio raíz de un sitio y le indican a los rastreadores de los motores de búsqueda, como Googlebot y Bingbot, qué páginas rastrear y cuáles ignorar.
Dependiendo del volumen de tráfico, los bots de los motores de búsqueda pueden intentar rastrear tu sitio a diario, lo que podría sobrecargar el servidor web y ralentizar los tiempos de carga. Pero con un archivo robots.txt, puedes identificar las páginas y recursos que los rastreadores deben omitir, reduciendo el número de solicitudes que el servidor web de tu empresa necesita procesar.
¿Por qué es esencial el robots.txt para el SEO?
Los rastreadores web pueden consumir mucha potencia de procesamiento, especialmente si varios están explorando el sitio de tu empresa simultáneamente. Un archivo robots.txt te da cierto control sobre cómo rastrean tu contenido, lo que puede resultar en los siguientes beneficios de SEO.
Presupuesto de rastreo optimizado
Los motores de búsqueda evalúan la autoridad, la velocidad y el tamaño de un sitio para determinar cuánto tiempo están dispuestos a dedicar a rastrearlo. Usa tu archivo robots.txt para excluir archivos innecesarios y así los rastreadores descubrirán las páginas importantes durante su tiempo limitado en tu sitio.
Contenido duplicado bloqueado
El contenido duplicado o redundante puede generar problemas de canonicalización donde los motores de búsqueda no pueden determinar qué página es la mejor fuente de información. Sin esa información, no pueden seleccionar el mejor resultado para mostrar en una consulta de búsqueda relacionada. Excluir todo el contenido que no sea el más preciso evita que tu sitio sea penalizado con posiciones más bajas en las páginas de resultados de búsqueda.
Potencia de procesamiento conservada
Los rastreadores están extremadamente bien optimizados para afectar lo menos posible a tu servidor web. Pero el impacto sigue siendo medible, y un archivo robots.txt te da cierto control sobre cuánto afectan estos rastreadores a el rendimiento de tu sitio.
Por ejemplo, tu archivo robots.txt puede excluir archivos de video grandes para que el servidor web no tenga que desperdiciar potencia sirviéndolos a un bot. En su lugar, tus procesadores pueden concentrarse en cargar páginas para los visitantes del sitio, algo que Google y otros motores de búsqueda tienen en cuenta al clasificar las páginas.
¿Cómo funciona un archivo robots.txt?
Los archivos robots.txt establecen reglas que los rastreadores web verifican antes de explorar un sitio. Organizas estas reglas en grupos que se aplican a cualquiera o a todos los rastreadores, conocidos como "agentes de usuario", dentro del propio archivo. Establece reglas para agentes de usuario específicos o usa un asterisco (*) para referirte a todos los rastreadores (excepto aquellos que ignoran el asterisco, como AdsBot-Google y AdsBot-Google-Mobile).
Con los archivos robots.txt, puedes definir pautas para cualquier elemento de tu sitio, como:
- Páginas web — archivos HTML, PDF y XML que no quieres que los bots rastreen
- Directorios y subdirectorios: Secciones completas de tu sitio que quieres que los rastreadores eviten
- Archivos multimedia: Imágenes, vídeos o archivos de audio sin usar o poco importantes
- Archivos de recursos: Scripts o archivos de estilo que no ofrecen información valiosa a los motores de búsqueda
Sintaxis de robots.txt
Cada grupo comienza con uno o más agentes de usuario, seguidos de todas las reglas que quieres que sigan. Todo distingue entre mayúsculas y minúsculas, así que asegúrate de revisar bien lo que escribes.
El siguiente grupo le indicaría al robot de Google, Googlebot, que no rastree una página llamada “example-file.html”:
User-agent: Googlebot
Disallow: /example-file.html
Aquí tienes todas las directivas que puedes usar en un grupo de robots.txt:
- User-agent: El rastreador o rastreadores a los que quieres dirigir el grupo
- Disallow: Cualquier cosa que no quieras que el agente de usuario rastree
- Allow: Cualquier cosa que quieras que el agente de usuario rastree, incluso dentro de un directorio restringido
- Sitemap: Un enlace a un archivo que enumera todas las URL de un sitio web
- Crawl-delay: Cuántos segundos debe esperar el agente de usuario entre el rastreo de archivos (aunque la mayoría de los motores de búsqueda, incluidos Google y Yandex, ignoran esta directiva)
Aquí tienes un ejemplo de archivo robots.txt que crea reglas específicamente para Googlebot y Bingbot:
User-agent: Googlebot
User-agent: Bingbot
Disallow: /no-crawl/
Allow: /no-crawl/except-this-one.html
Crawl-delay: 3
Sitemap: https://www.example.com/sitemap.xml
Este robots.txt especifica que Googlebot y Bingbot no deben rastrear la subcarpeta /no-crawl/, a excepción de un archivo específico, except-this-one.html, dentro de ese directorio. La directiva Crawl-delay establece una pausa de 3 segundos entre cada solicitud para evitar la sobrecarga del servidor, y la directiva Sitemap proporciona la ubicación del mapa del sitio, lo que ayuda a los motores de búsqueda a entender la estructura del sitio de manera más eficiente.
Impulsa tu crecimiento con SEO
Únete a Webflow y a la agencia líder en crecimiento Graphite para descubrir estrategias prácticas con las que escalar y potenciar tu crecimiento mediante el SEO
Cómo crear un archivo robots.txt en 4 pasos
Aquí tienes un proceso sencillo para crear un archivo robots.txt y subirlo a tu sitio.
1. Crea un nuevo archivo TXT
Abre un editor de texto básico como el Bloc de notas o TextEdit. No uses un procesador de textos como Microsoft Word, ya que utilizará caracteres como comillas curvas que los rastreadores no interpretan correctamente.
Crea un archivo nuevo, llámalo “robots” y guárdalo como archivo TXT. Recuerda que el nombre distingue entre mayúsculas y minúsculas, y debe estar en minúsculas. Si tienes la opción, selecciona la codificación UTF-8.
2. Escribe las reglas
Usa la guía de sintaxis anterior para redactar las reglas de los agentes de usuario que quieras gestionar. Aquí tienes una lista de los más comunes:
- Google:
- Googlebot
- AdsBot-Google*
- AdsBot-Google-Mobile*
- GoogleOther
- Bing:
- Bingbot
- AdIdxBot
- Applebot
- YandexBot
- DuckDuckBot
- Baiduspider
- Facebot
- Slurp
* Estos dos rastreadores web ignoran el valor de agente de usuario con asterisco (*). Tu archivo TXT debe especificar estos agentes explícitamente.
3. Sube el archivo
Sube tu archivo robots.txt al directorio raíz de tu sitio web. Este proceso depende de la plataforma de desarrollo web que utilices.
Webflow crea automáticamente un archivo robots.txt para tu sitio al momento de generarlo. Después, puedes añadir tus reglas de robots.txt y el mapa del sitio en la pestaña SEO dentro de Configuración del sitio.
4. Prueba el archivo
Para comprobar si tu archivo está activo, navega a su URL en una ventana del navegador.
Cuando estés listo para probar si el archivo funciona, revisa varias herramientas de motores de búsqueda como Google Search Console, que proporcionan registros de cada rastreo de tu sitio. Examina esos registros para ver si los bots ignoraron las páginas que excluiste.
Limitaciones de un archivo robots.txt
Tu archivo robots.txt te dará cierto control sobre cómo los bots rastrean el sitio de tu empresa, pero tiene algunas limitaciones. Aquí tienes las que debes tener en cuenta al redactar las reglas de tu archivo.
No todos los rastreadores son buenos
Los actores malintencionados crean bots que ignoran el archivo robots.txt para poder extraer datos de tu sitio o buscar vulnerabilidades de seguridad. Dado que estos "bots malos" utilizan los mismos procesos que los buenos, no hay forma de evitar que extraigan datos de tu sitio sin obstaculizar a los rastreadores legítimos.
Las reglas específicas para bots prevalecen sobre las generales
Si tienes reglas para bots específicos, estos las seguirán e ignorarán las generales. Eso significa que tendrás que repetir cualquier regla general que también deba aplicarse a ellos.
Por ejemplo, con los siguientes grupos en tu archivo robots.txt, Bingbot no rastreará un archivo HTML llamado “no-bing.html”, pero sí rastreará el directorio /no-crawl/.
User-agent: *
Disallow: /no-crawl/
User-agent: Bingbot
Disallow: /no-bing.html
Para solucionar esto, añade una nueva regla “Disallow” al grupo de Bingbot de la siguiente manera:
User-agent: Bingbot
Disallow: /no-crawl/
Disallow: /no-bing.html
Robots.txt controla el rastreo, no la indexación
El rastreo es el proceso de descubrir y comprender las páginas web, mientras que la indexación implica almacenar y organizar ese contenido para que sea localizable.
Un archivo robots.txt impide que los rastreadores de los motores de búsqueda rastreen ciertas páginas, pero no afecta a si las indexan. Afortunadamente, hay una solución sencilla: para evitar que un rastreador web indexe tu página, utiliza una etiqueta robots noindex.
Por ejemplo, aunque bloquees una página en tu archivo robots.txt, los motores de búsqueda podrían seguir mostrándola en los resultados. Pero estas plataformas no tendrán una descripción, imagen o contenido que mostrar en el resultado; solo tendrán un título basado en el slug de la URL. Si utilizas noindex para impedir que un rastreador web indexe una página, el motor de búsqueda ni siquiera sabrá que el contenido está ahí, por lo que no aparecerá en los resultados de búsqueda.
Vale la pena señalar: Google solo podrá ver la etiqueta noindex si eliminas la regla del robots.txt para que pueda rastrear la página.
Los archivos no permitidos pueden seguir siendo rastreados si se hace referencia a ellos externamente
Los rastreadores de los motores de búsqueda no comprueban el archivo robots.txt cuando siguen enlaces externos. Si un bot rastrea otro sitio web que enlaza a una página de tu sitio, la descubrirá y rastreará aunque hayas establecido una regla de no permitir (disallow) para ella. Como se mencionó anteriormente, tendrás que colocar una etiqueta robots noindex en los metadatos de la página para evitar esto.
Optimización de archivos robots.txt con Webflow
Un archivo robots.txt bien ajustado te da más control sobre cómo los bots de los motores de búsqueda rastrean tu sitio, lo que te ayuda a optimizar el rendimiento y el SEO de tu sitio. Aunque el archivo en sí es bastante ligero, su creación requiere mucha planificación para garantizar que estás excluyendo los archivos correctos, creando reglas coherentes e identificando los agentes de usuario adecuados.
Con Webflow, puedes crear un archivo robots.txt para tu sitio y utilizar nuestras herramientas de SEO integradas para gestionar la visibilidad de tu sitio web en los motores de búsqueda. Utiliza estas funciones para establecer una presencia web coherente y de gran alcance que genere tráfico.
Empieza a usar Webflow hoy mismo y sácale todo el jugo a estas ventajas.
Empieza gratis
Crea sitios web personalizados y escalables, sin escribir código. Empieza a construir en Webflow.
