Qu’est-ce que le Spam Referrer ? Tout webmaster est confronté au spam referrer. Ca ressemble généralement à ça : Il s’agit de fausses sources de trafic, destinées à susciter l’intérêt des webmasters et à se rendre sur l’adresse indiquée. Une… Lire la suite
Contexte de l’étude Cette étude a été réalisée sur deux gros sites de news généralistes Français. Pour les deux sites, le sitemap a été crawlé plusieurs fois par jour dans le but de récupérer l’ensemble des articles publiés, sur une période de 6… Lire la suite
Pourquoi cet article ? Suite à l’article de Google sur son blog pour webmasters, j’ai souhaité à mon tour publier, car j’ai vu passer plusieurs articles sur le sujet du budget de crawl qui me semblent incomplets voire pas tout… Lire la suite
Comprendre le fonctionnement de la 304 Le serveur renvoie une page en 200 uniquement si la ressource a été modifiée depuis la dernière requête. Sinon, le serveur renvoie une 304 (la ressource n’a pas été modifiée). Concrètement, l’en-tête HTTP de Google… Lire la suite
Présentation du Measurement Protocol Le Measurement Protocol de Google Analytics. Cela permet de pusher des statistiques au sein de Google Analytics via du POST. Grâce aux paramètres vous pouvez pusher toutes les informations que vous souhaitez. C’est particulièrement utile pour… Lire la suite
Suivre tous les liens et les collecter (permet de les conserver en base pour calcul du PR interne) FollowLinks yes CollectLinks yes On peut cependant suivre quelques types de liens. FollowLinks {yes | no | a | area | frame… Lire la suite
Crawl d’un domaine : Server https://www.marseo.fr Crawler plusieurs sous domaines, en exclure (NoMatch). Les expressions régulières sont autorisées (Regex). Realm Regex ^https://.*sousdomaine.*\.marseo.fr Realm NoMatch https://*sousdomaine*.marseo.fr Crawl d’un site et d’un autre site avec ses sous domaines : Server https://www.marseo.fr Realm… Lire la suite
Il est possible de suivre ou non les liens situés dans les sitemaps déclaré dans le robots.txt. UseSitemap yes UseSitemap no
Un site peut avoir plusieurs règles de restrictions d’exploration pour les moteurs de recherche (robots.txt, X-Robots-Tag…). Mnogosearch permet de prendre en compte toutes les règles, ou aucune, ou quelques unes. Suivi de règles Robots spécifiques : Robots robotstxt Robots xrobotstag Robots… Lire la suite
Qu’est-ce que le protocole HTTP2 ? HTTP/2 est une version majeure du protocole réseau HTTP utilisé sur le World Wide Web. Il est issu du protocole expérimental SPDY développé par Google. C’est une énorme révolution dans le monde du web, puisque… Lire la suite