0

Mnogosearch : configurer les règles de restriction pour les robots

Un site peut avoir plusieurs règles de restrictions d’exploration pour les moteurs de recherche (robots.txt, X-Robots-Tag…).

Mnogosearch permet de prendre en compte toutes les règles, ou aucune, ou quelques unes.

Suivi de règles Robots spécifiques :

Robots robotstxt

Robots xrobotstag

Robots meta

Robots rel 

Suivi de toutes les directives :

Robots yes

Ne suit aucune directive :
Robots no

Les URLs bloquées par les directives du fichier robots.txt sont stockées en base avec le statut personnalisé 199 (cumulable avec d’autres directives)
RobotsDisallowAction 199

marseo

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *