ยฟPor quรฉ ocultar partes de tu web a los buscadores, con el archivo robots.txt?
  • 16
    Jul

ยฟPor quรฉ ocultar partes de tu web a los buscadores, con el archivo robots.txt?

Los programas encargados de rastrear la informaciรณn de las webs para indexar contenido en los buscadores son los denominados robots, tambiรฉn conocidos con el nombre de araรฑas (spiders). Es importante que les presentemos adecuadamente nuestro contenido para obtener un buen posicionamiento.

Pero hay veces que en los que nos puede interesar que no se indexe un determinado fichero, carpeta o url.

Por ejemplo, si no quieres que un agregador de noticias incluya las de tu web debes indicarlo en robots.txt, puesto que por defecto las araรฑas visitan e indexan todo. Las principales ventajas de usar este archivo son:

  • Denegar el acceso a nuestro sitio a determinados robots. Esto que puede parecer extraรฑo no lo es si esos robots en vez de beneficiarnos lo que hacen es el efecto contrario.
  • Mejorar el posicionamiento de nuestro sitio indicando a los spiders los sitios concretos que queremos indexar.
  • Reducir la transferencia consumida en nuestro servidor, ya que al poder bloquear a ciertos robots o indicar aquellos sitios que no queremos que se indexen, estamos reduciendo el nรบmero de peticiones que se realiza a nuestro sitio.
  • Impedir que se indexen archivos personales, archivos que pueden ser fotos, documentos, vรญdeosโ€ฆ
  • Eliminar contenido duplicado. Con esto estamos impidiendo que los buscadores nos penalicen por encontrar en nuestro sitio distintas urls con la misma informaciรณn.

ยฟDe cuรกnta utilidad te ha parecido este contenido?

ยกHaz clic en una estrella para puntuar!

Promedio de puntuaciรณn / 5. Recuento de votos:

Hasta ahora, ยกno hay votos!. Sรฉ el primero en puntuar este contenido.

ยกSiento que este contenido no te haya sido รบtil!

ยกDรฉjame mejorar este contenido!

Dime, ยฟcรณmo puedo mejorar este contenido?

Devela este datazo, ยกcompรกrtelo!

 
WeCreativez WhatsApp Support
AQUร ESTAMOS ๐Ÿ‘‹
๐Ÿš€ ยฟEn quรฉ te ayudamos hoy?