Robots

Robots.txt, WordPress y un error muy común

Si utilizamos el buscador para encontrar cómo crear el archivo robots.txt, nos encontraremos con cientos de recomendaciones. La mayoría son correctas pero hay una de ellas muy extendida que provoca efectos no deseados. En muchos manuales se aconseja añadir unas líneas específicas para el bot de Google sin advertir de que esta adición deja sin efecto el resto de reglas generales existentes en dicho archivo. Ese comportamiento es debido al sistema de jerarquías utilizado por Google, tal y como puede verse en el documento Especificaciones de robots.txt.:

Solo hay un grupo de registros de miembro de grupo válido para cada rastreador. El rastreador debe determinar cuál es el grupo de registros correcto buscando el grupo que tenga el agente de usuario más específico con el que exista coincidencia. El rastreador ignorará los demás grupos de registros. El orden de los grupos dentro del archivo robots.txt es irrelevante. Seguir leyendo …