Archivo robots.txtEn la anterior entrada expliqué como ayudar a los buscadores a rastrear nuestra web mediante el fichero sitemap.xml. Pero … ¿habéis llegado a pensar si deseáis que alguna de las páginas de vuestra web, alguna carpeta con imagenes o datos, o alguna imagen o fichero, no queréis que aparezcan en los buscadores?. Para eso está el archivo robots.txt. ¿Como crear este fichero robots.txt?:

Vamos a verlo con 2 ejemplos:

Ejemplo 1. No queremos que los buscadores rastreen mi página soluciones.html:

Abrimos el programa Bloc de notas (por ejemplo), escribimos lo siguiente y lo guardamos como robots.txt.

User-agent:*

Disallow: /soluciones.html

Ejemplo 2. No queremos que los buscadores rastreen la página contactar.html ni la carpeta imagenes:

User-agent:*

Disallow: /contactar.html

Disallow: /imagenes

Así de fácil !!!

Además podemos aprovechar este fichero para indicarle al rastreador que tenemos creado el fichero sitemap.xml de la siguiente forma:

En el ejemplo 2 sería (basta con añadir una línea):

User-agent:*

Disallow: /contactar.html

Disallow: /imagenes

Sitemap: http://www.elnombredemiweb.extension/sitemap.xml

La creación de este fichero es sumamente importante cuando tenemos carpetas con datos que no queremos compartir, y sobre todo en Tiendas Online.

Hasta la próxima.

Estoy en www.virtualwebestudio.com