El documento robots.txt es un recurso clave para toda página web que busca ser bien indexada por los rastreadores como Bing. Sirve como el mapa para los bots, indicándoles qué secciones de tu https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html