Mnogosearch : configurer le suivi des liens

Mnogosearch : configurer le suivi des liens

Suivre tous les liens et les collecter (permet de les conserver en base pour calcul du PR interne)

[shell]

FollowLinks yes
CollectLinks yes

[/shell]

On peut cependant suivre quelques types de liens.

[shell]
FollowLinks {yes | no | a | area | frame | htdb | iframe | link | meta | redir | xml}
#ou
FollowLinks a  #classique
FollowLinks no #quand on souhaite crawler une liste d’URL par exemple
FollowLinks area #<area shape= »rect » coords= »0,0,82,126″ href= »page.htm »>
FollowLinks frame #<frame src= »frame.html »>
FollowLinks link #<link rel= »alternate » href= »page2.html »>
FollowLinks meta #<meta http-equiv= »refresh » content= »5;URL=’http://www.site.com/' »>
FollowLinks redir #suit les instructions Location de redirections dans les en-têtes http
FollowLinks xml #suit les liens dans les fichiers xml

[/shell]

Laisser un commentaire

You May Have Missed