Mnogosearch : configurer les règles de restriction pour les robots
Un site peut avoir plusieurs règles de restrictions d’exploration pour les moteurs de recherche (robots.txt, X-Robots-Tag…).
Mnogosearch permet de prendre en compte toutes les règles, ou aucune, ou quelques unes.
Suivi de règles Robots spécifiques :
[shell]Robots robotstxt
Robots xrobotstag
Robots meta
Robots rel [/shell]
Suivi de toutes les directives :
[shell]Robots yes[/shell]
Ne suit aucune directive :
[shell]Robots no[/shell]
Les URLs bloquées par les directives du fichier robots.txt sont stockées en base avec le statut personnalisé 199 (cumulable avec d’autres directives)
[shell]RobotsDisallowAction 199[/shell]
Laisser un commentaire