Suivre tous les liens et les collecter (permet de les conserver en base pour calcul du PR interne)
FollowLinks yes CollectLinks yes
On peut cependant suivre quelques types de liens.
FollowLinks {yes | no | a | area | frame | htdb | iframe | link | meta | redir | xml}
#ou
FollowLinks a #classique
FollowLinks no #quand on souhaite crawler une liste d'URL par exemple
FollowLinks area #<area shape="rect" coords="0,0,82,126" href="page.htm">
FollowLinks frame #<frame src="frame.html">
FollowLinks link #<link rel="alternate" href="page2.html">
FollowLinks meta #<meta http-equiv="refresh" content="5;URL='http://www.site.com/'">
FollowLinks redir #suit les instructions Location de redirections dans les en-têtes http
FollowLinks xml #suit les liens dans les fichiers xml
