Un site peut avoir plusieurs règles de restrictions d’exploration pour les moteurs de recherche (robots.txt, X-Robots-Tag…).
Mnogosearch permet de prendre en compte toutes les règles, ou aucune, ou quelques unes.
Suivi de règles Robots spécifiques :
Robots robotstxt Robots xrobotstag Robots meta Robots rel
Suivi de toutes les directives :
Robots yes
Ne suit aucune directive :
Robots no
Les URLs bloquées par les directives du fichier robots.txt sont stockées en base avec le statut personnalisé 199 (cumulable avec d’autres directives)
RobotsDisallowAction 199
