ยฟPor quรฉ ocultar partes de tu web a los buscadores, con el archivo robots.txt?
Los programas encargados de rastrear la informaciรณn de las webs para indexar contenido en los buscadores son los denominados robots, tambiรฉn conocidos con el nombre de araรฑas (spiders). Es importante que les presentemos adecuadamente nuestro contenido para obtener un buen posicionamiento.
Pero hay veces que en los que nos puede interesar que no se indexe un determinado fichero, carpeta o url.
Por ejemplo, si no quieres que un agregador de noticias incluya las de tu web debes indicarlo en robots.txt, puesto que por defecto las araรฑas visitan e indexan todo. Las principales ventajas de usar este archivo son:
- Denegar el acceso a nuestro sitio a determinados robots. Esto que puede parecer extraรฑo no lo es si esos robots en vez de beneficiarnos lo que hacen es el efecto contrario.
- Mejorar el posicionamiento de nuestro sitio indicando a los spiders los sitios concretos que queremos indexar.
- Reducir la transferencia consumida en nuestro servidor, ya que al poder bloquear a ciertos robots o indicar aquellos sitios que no queremos que se indexen, estamos reduciendo el nรบmero de peticiones que se realiza a nuestro sitio.
- Impedir que se indexen archivos personales, archivos que pueden ser fotos, documentos, vรญdeosโฆ
- Eliminar contenido duplicado. Con esto estamos impidiendo que los buscadores nos penalicen por encontrar en nuestro sitio distintas urls con la misma informaciรณn.
Devela este datazo, ยกcompรกrtelo!