Archivo ROBOTS.txt, Qué es y Cómo Crearlo e Indexarlo 🤖
El fichero
robots.txtes un fichero de texto que dicta unas
recomendaciones de indexacióny de comportamiento para los
crawlerso los
robots de los motores de búsqueda(¡ojo! recomendaciones, no obligaciones). Estos crawlers desean
indexar toda la información posible, así que cuando llegan a tu página web lo rastrean todo.
El inconveniente surge cuando quieres evitar que ciertas páginas se incluyan en sus índices, ¿Qué haces entonces? Tienes 2 opciones. La primera es
usar una etiqueta especial en cada página(véase Meta Robots) o bien usar un
archivo centralizado para supervisar la entrada. Esta última opción es la de robots.txt que es la que veremos en profundidad.
Qué es un fichero robots.txt
El
Protocolo de Exclusión de Robotso Robots Exclusion Protocol o bien REP es una serie de estándares web que
regulan el comportamiento de los robotsy la
indexación de los motores de búsqueda. El REP consiste en lo siguiente:
- El REP original data dey fue extendido en, definiendo las directrices de rastreo del robots.txt. Ciertas motores de búsqueda soportan extensiones como los patrones URI (wild cards).
- Ense definen las indicaciones de indexación (etiquetas REP) para su empleo en los elementos meta de los robots, también conocidos como
etiqueta meta robots. Los motores de búsqueda también aceptan etiquetas REP adicionales con la «X-Robots-Tag». Los administradores web pueden incorporar estas etiquetas REP en la cabecera HTTP de los recursos que no sean HTML como documentos PDF o imágenes. - El microformato «rel-nofollow» aparece enpara acotar cómo los motores de búsqueda deben manejar los enlaces donde hay uncontiene el valor «nofollow».
Etiquetas de exclusión de robots
Si charlamos de una, las etiquetas REP (noindex, nofollow, unavailable_after) dirigen ciertas labores de los indexadores y en ciertos casos (nosnippet, noarchive, NOODP) aun motores de consultas en el monento de la ejecución de una consulta de búsqueda. Además de las directrices para los rastreadores, cada motor de búsqueda interpreta estas etiquetas REP de forma diferente.
Por ejemplo, Google suprime los listados de URLs únicas y referencias OPD de suscuando un recurso está etiquetado con «noindex», no obstante Bing muestra esas referencias externas a direcciones URL como prohibidas en sus resultados de búsqueda. Como las etiquetas REP pueden ser implementadas en los elementos META de contenidos X/HTML, así como en las cabeceras HTTP de cualquier objeto web, el acuerdo es que contenidos con la etiqueta «X-Robots-Tags» deberían invalidar o cancelar las directrices en conflicto que se encuentren en los elementos META.ç
Las directrices de los indexadores implementadas como
microformatosinvalidarán la configuración de página para ciertos elementos HTML. Por poner un ejemplo, cuando la etiqueta «X-Robots-Tag» de una página dice «follow» (no hay valor «nofollow»), la indicación
rel-nofollowde un factor A (link) se sobrepone.
Aunque robots.txt carece de directrices para indexadores, es posible establecer estas directrices para grupos de URIs con el scripts en el servidor actuando al mismo nivel web que apliquan a «X-Robots-Tags» para pedir recursos. Este método requiere conocimientos de programación y una buena comprensión de los servidores web y el protocolo HTTP.
Google y Bing tanto comprenden 2 expresiones regulares que se pueden utilizar para identificar las páginas o subcarpetas que unquiere excluir de su página web. Estos dos caracteres son el asterisco (*) y el signo de dólar ( dólares americanos ).
- * – Que es un comodín que representa cualquier secuencia de caracteres
- dólares americanos – Que coincide con el final de la URL
El fichero robots.txt es público. Cualquiera puede ver qué secciones ha bloqueado un webmaster de su servidor (mira mi). Esto significa que si un posicionamiento en buscadores tiene información de usuario privada a la que no quiere dejar acceder a absolutamente nadie (y menos públicamente), debe usar un método más seguro como la protección con contraseña para mantener a raya a los curiosos que quieran ver qué páginas reservados no quiere que se indexen.
Para qué sirve posicionamiento en buscadores toledo .txt
Como ya sabrás, los robots o arañas son unos programas que usan los buscadores web para
rastrear la web. Cuando llegan a tu página web, la primera cosa que hacen es buscar el fichero robots.txt y dependiendo de lo que diga en él, continúan en tu página web o bien se marchan a otra. Puedes entender el fichero robots.txt como una lista de robots no aceptados, la que te
permite restringir el acceso a tu página web selectivamente. Si hay páginas que prefieres mantener fuera del alcance de los buscadores, puedes configurarlo aquí, y si hay un buscador al que quieres denegar el acceso, también.
Más concretamente, puedes emplear el fichero robots.txt para lo siguiente:
- Evitar que ciertas páginas y directorios de tu página web sean alcanzables a los buscadores
- Bloquear el acceso a ficheros de código o bien utilidades
- Impedir la indexación de contenido copiado en tu sitio, como copias de prueba o versiones para imprimir
- Indicar la localización delo mapa del lugar en XML
No obstante, hay dos cosas que debes tomar en consideración sobre robots.txt:
- Algunos robots pueden
ignorarlas instrucciones contenidas en este archivo, en especial robots maliciosos o bien malware - El archivo es público, lo que significa que cualquiera puede verlo con sólo teclear /robots.txt
- Por tanto, si piensas emplear robots.txt para esconder información privada, precisas buscar otra alternativa.
Cómo producir el archivo robots.txt
Lo primero que precisas saber sobre el archivo robots.txt es que
no es obligatorio. Sólo necesitas crearlo cuando quieres impedir que ciertas páginas o bien directorios de tu lugar aparezcan en los resultados de búsqueda. Generar el fichero es muy sencillo, basta con crear un documento de texto con el nombre “robots.txt” y subirlo a la raiz de tu dominio (/robots.txt), que es el sitio donde los los buscadores web esperan localizarlo.
Lo más fácil es crearlo a mano, mediante el bloc de notas o cualquier aplicación similar, aunque si eres de los que prefiere herramientas, la de SeoBook cumple con su cometido.
Un archivo robots.txt básico puede ser:
Lo que hacen estas instrucciones es denegar el acceso al directorio “privado” a todos y cada uno de los buscadores web. Para ello, primero se señala que la orden se dirige a todos los robots (Usuario-agent: *) y por último se especifica el directorio desautorizado (Disallow: /privado/).
Los comandos que utiliza el fichero robots.txt vienen del llamado Robots Exclusion Protocol, un acuerdo universal cuya sintaxis debes seguir:
- Sólo puedes emplear los comandos tolerados (si bien algunos buscadores comprenden comandos auxiliares)
- Debes respetar las mayúsculas/minúsculas, la puntuación y los espacios
- Cada conjunto Usuario-agent/Disallow debe estar separado por una línea en blanco
- Puedes incluir comentarios mediante la almohadilla o símbolo de hash (#)
Los comandos más importantes son:
User-agent: Señala qué tipo de robot debe cumplir con las directivas que se señalen a continuación.
Disallow: Deniega el acceso a un directorio o bien página concreta.
Allow: Funciona a la inversa que la directiva Disallow, permitiendo el acceso a directorios y páginas. Se puede usar para sobrescribir la directiva Disallow parcial o plenamente.
Sitemap: Apuntar la senda donde se halla un mapa del lugar en XML.
Crawl-delay: Indica al robot el número de segundos que debe aguardar entre cada página. Puede ser útil en casos en los que se necesita reducir la carga del servidor.
Adicionalmente, como comentaba más arriba, puedes utilizar dos caracteres para aumentar o reducir la concordancia:
Asterisco(*): Vale por una secuencia cualquiera de caracteres. Por ejemplo, todos y cada uno de los directorios que comienzan por “privado” serían “/privado*/”
Dólar($ ): Indica el final de una URL. Por poner un ejemplo, para señalar cualquier fichero que acabe con la extensión .php se utilizaría “/*.php dólares americanos ”.
Restricciones más comunes
Con los comandos y comodines se puede crear todo tipo de restricciones. No obstante, no es buena idea ser creativo con el fichero de robots, ya que puedes terminar bloqueando algo que no quieres.
En este sentido, es mejor ceñirse a las restricciones más comunes, como son:
- Incluir todos y cada uno de los robots – User-agent: *
- Especificar el robot de Google – Usuario-agent: Googlebot
- Especificar el robot de Bing – User-agent: Bingbot
- Denegar todo el lugar – Disallow: /
- Denegar un directorio – Disallow: /directorio/
- Denegar directorios que comienzan por “algo” – Disallow: /algo*/
- Denegar una página – Disallow: /pagina-web.htm
- Denegar directorios y páginas que comienzan por “algo” – Disallow: /algo
- Denegar la extensión .gif – Disallow: /*.gif dólares americanos
- Permitir un subdirectorio – Allow: /directorio/subdirectorio/
- Señalar el mapa del sitio – Sitemap: /sitemap.xml
Un ejemplo de robots.txt para WordPress
Para ayudarte a entender mejor el funcionamiento del fichero robots.txt me gustaría enseñarte un caso real. Se trata del mismo archivo que utilizo en este blog, de ahí que sea un caso orientado a WP.
No obstante, tienes que saber que este fichero quizá NO sea ideal para tí pese a usar WP. Según el caso, puede que necesites añadir limitaciones, quitarlas, o emplear la etiqueta meta robots. No hay un fichero robots.txt universal, tenlo en cuenta.
Recientemente he actualizado mi archivo robots.txt como sigue (sin los números de línea):
Ahora me gustaría explicarte cada línea:
- Línea 1 – Declaro que las instrucciones que vienen a continuación son para los robots de cualquier buscador.
- Línea dos – Rechazo el acceso a todos directorios y páginas que empiezan por “wp-”, propios de la instalación de WordPress.
- Línea 3 – Deniego el acceso al directorio que utilizo para redirecciones (no tienes por qué tenerlo).
- Línea 4 – Dejo el acceso al directorio de ficheros adjuntos, puesto que en la línea dos lo había desacreditado.
- Línea 5 – Indico la ruta donde se encuentra el mapa XML de mi pá agencia de comunicacion online .
Te recomiendo que cuando crees tu archivo verifiques que hace lo que esperas de él. Ten presente que un simple fallo puede impedir el acceso a los motores de búsqueda y causar la pérdida de todos tus rankings. La comprobación es fácil de hacer con las Herramientas para Webmasters de Google, en
Rastreo > URL bloqueadas.
Chuleta para principiantes
Te voy a enseñar varias opciones, y tu escoge la que más te convenga:
- Bloquear todos y cada uno de los rastreadores web de todo el contenido
- Bloquear un rastreador web específica desde una carpeta específica
- Bloquear un rastreador web específica de una página web específica
- Permitir que un rastreador web específica para visitar una página web específica
- En la mayoría de los casos, meta robots con parámetros «noindex, follow» han de ser empleados como una
forma de restringir el rastreo o bien la indexación
- Es importante señalar que
los rastreadores maliciosos son propensos a ignorar absolutamente robots.txty, como tal, este protocolo no es buen mecanismo de seguridad - Sólo
1 línea«Disallow:» está permitida para cada URL - Cada
subdominiode un dominio raíz utiliza
archivos robots.txt separados
- Google y Bing aceptan
dos caracteres de expresiones regularesespecíficos para la exclusión de patrones (* y dólares americanos ) - El nombre del fichero robots.txt es
sensible a las mayúsculas. Usa «robots.txt», no «Robots.TXT» - Los espacios no se aceptan para separar parámetros de consulta. Por servirnos de un ejemplo, «/categoría/ /producto» no sería detectado por el fichero robots.txt
¿Ya sabes cómo crear tu
archivo robots.txt?
Hola, qué tal tengo un problema, mi web estaba posicionada en google, mas luego de un año renové el diseño y todo cambio, ahora también posicionada, cuando busco algo sobre mi empresa, me aparecen los enlaces viejos, como podría hacer para que ya no salgan pues son bastantes. Gracias
Hola Adrian, mas los contenidos viejos siguen publicados o has hecho redirecciones? Si sólo has cambiado el diseño pero no has hecho redirecciones y prosigue publicado, hasta el momento en que Google no indexe de nuevo los cambios saldrán. Saludos!
Contenido de calidad, prácticamente siempre y en toda circunstancia me marcho rapidamente de todos y cada uno de los articulos de internet, en este caso me lo lei todo, solo te falto un detalle, afirmemos que encontre un nuevo software de scrapeo o similar
Hola Ricardo 😊
Te agradezco tu comentario y me alegra saber que percibes así mis contenidos. Ciertamente, Internet es «el sitio de todos» y por este motivo, no siempre hallamos calidad y verdad. Respecto a tu puntualización, te agradezco el detalle. Naturalmente la red y sus funcionalidades se marchan actualizando y, poco a poco, también voy poniendo al día mis guías para ofrecer a los lectores los mejores resultados. Espero verte de vuelta por el weblog.
¡Saludos!
Amo tus contenidos. Son fáciles de comprender, prácticos, breves y me resultan muy útiles. Entro en uno y ya luego no puedo parar porque todo me resulta interesante jeje
Gracias por compartir tu experiencia y conocimiento.
Un abrazo y que prosigas sumando éxitos.
Gracias Ingrid,
Me alegra que te gusten mis contenidos y que sean de tu interés. Igualmente muchos éxitos! Saludos :)
Tus artículos son estupendos, mas echo en falta vídeos sobre los mismos. Si pudieras hacerlos seria fantástico.
Gracias, por tu aportación
Hola Teresa,
Es algo que tengo pendiente, mas para hacer vídeos necesitas algo muy importante: tiempo, y es una cosa que, por desgracia, no tengo. Quizás con el tiempo, ya veremos… gracias.
Hola, qué tal tengo un problema, mi web estaba posicionada en google, mas luego de un año renové el diseño y todo cambio, ahora también posicionada, cuando busco algo sobre mi empresa, me aparecen los enlaces viejos, como podría hacer para que ya no salgan porque son bastantes. posicionamiento web bercelona
Hola Adrian, pero los contenidos viejos siguen publicados o has hecho redirecciones? Si sólo has modificado el diseño mas no has hecho redirecciones y prosigue publicado, hasta el momento en que Google no indexe nuevamente los cambios saldrán. Saludos!
Hola Adrian, mas los contenidos viejos siguen publicados o bien has hecho redirecciones? Si sólo has modificado el diseño mas no has hecho redirecciones y sigue publicado, hasta el momento en que Google no indexe de nuevo los cambios saldrán. Saludos!
Contenido de calidad, prácticamente siempre y en toda circunstancia me voy rapidamente de todos los articulos de internet, en un caso así me lo lei todo, solo te falto un detalle, digamos que encontre un nuevo software de scrapeo o bien similar
Hola Ricardo 😊
Te agradezco tu comentario y me alegra saber que percibes así mis contenidos. Efectivamente, Internet es «el lugar de todos» y por este motivo, no siempre hallamos calidad y verdad. Con respecto a tu puntualización, te agradezco el detalle. Naturalmente la red y sus funcionalidades se marchan actualizando y, poquito a poco, yo también voy poniendo al día mis guías para ofrecer a los lectores los mejores resultados. Espero verte de vuelta por el blog.
¡Saludos!
Hola Ricardo 😊
Te agradezco tu comentario y me alegra saber que percibes así mis contenidos. Efectivamente, Internet es «el lugar de todos» y por esta razón, no siempre hallamos calidad y verdad. Con respecto a tu puntualización, te agradezco el detalle. Naturalmente la red y sus funcionalidades se marchan actualizando y, poquito a poco, yo también voy poniendo al día mis guías para ofrecer a los lectores los mejores resultados. Espero verte de vuelta por el blog.
¡Saludos!
Amo tus contenidos. Son fáciles de entender, prácticos, concisos y me resultan muy útiles. Entro en uno y ya entonces no puedo parar pues todo me interesa jeje
Gracias por compartir tu experiencia y conocimiento.
Un abrazo y que prosigas sumando éxitos.
Gracias Ingrid,
Me alegra que te agraden mis contenidos y que sean de tu interés. Igualmente muchos éxitos! Saludos :)
Gracias Ingrid,
Me alegra que te gusten mis contenidos y que sean de tu interés. Igualmente muchos éxitos! Saludos :)
Tus artículos son estupendos, pero echo en falta vídeos sobre exactamente los mismos. Si pudieses hacerlos seria fantástico.
Gracias, por tu aportación
Hola Teresa,
Es algo que tengo pendiente, mas para hacer vídeos necesitas algo muy importante: tiempo, y es algo que, por desgracia, no tengo. Quizás con el tiempo, ya veremos… gracias.
Hola Teresa,
Es algo que tengo pendiente, mas para hacer vídeos precisas algo muy importante: tiempo, y es algo que, por desgracia, no tengo. Quizás con el tiempo, ya veremos… gracias.
