El documento robots.txt es una herramienta fundamental para controlar cómo los rastreadores web indexan tu portal. Ofrece a los rastreadores indicaciones sobre qué partes de tu sitio pueden exploradas y cuáles no deben excluidas . Una implementación del robots.txt puede impactar positivamente tu posicionamiento en los rankings y evitar problema