Fichero robots.txtEn la anterior entrada expliqué como ayudar a los buscadores a rastrear nuestra web mediante el fichero sitemap.xml. Pero … ¿habéis llegado a pensar si deseáis que alguna de las páginas de vuestra web, alguna carpeta con imagenes o datos, o alguna imagen o fichero, no queréis que aparezcan en los buscadores?. Para eso está el archivo robots.txt. ¿Como crear este fichero robots.txt?:
Vamos a verlo con 2 ejemplos:
Ejemplo 1. No queremos que los buscadores rastreen mi página soluciones.html:
Abrimos el programa Bloc de notas (por ejemplo), escribimos lo siguiente y lo guardamos como robots.txt.
User-agent:*
Disallow: /soluciones.html
Ejemplo 2. No queremos que los buscadores rastreen la página contactar.html ni la carpeta imagenes:
User-agent:*
Disallow: /contactar.html
Disallow: /imagenes
Así de fácil !!!
Además podemos aprovechar este fichero para indicarle al rastreador que tenemos creado el fichero sitemap.xml de la siguiente forma:
En el ejemplo 2 sería (basta con añadir una línea):
User-agent:*
Disallow: /contactar.html
Disallow: /imagenes

La creación de este fichero es sumamente importante cuando tenemos carpetas con datos que no queremos compartir, y sobre todo en Tiendas Online.

Hasta la próxima.