0

Mnogosearch : présentation et applications pour le SEO

Introduction à Mnogosearch

Mnogosearch est un moteur de recherche open source en C, développé par le Russe Alexander Barkov.

Mnogosearch fonctionne en deux parties : l’indexer et le search. L’indexer va parcourir l’ensemble des ressources (HTML par exemple) afin de les indexer. Puis la partie « search » va permetre de rechercher des informations parmi les ressources collectées via un navigateur web.

Mnogosearch pour le SEO

La partie qui va nous intéresser est la partie « indexer », qui va nous permettre de collecter des données en parcourant les liens d’une page. L’idée est de constituer une première base de données constituée des pages HTML du site que l’on souhaite crawler, accompagné des informations qui nous intéressent : title, en-tête HTTP, temps de réponse…

Restitution des données

Mnogosearch s’installe sur un serveur (Linux pour ma part) et est relié à une base de données installée sur le serveur.

Une fois l’indexer en route, il va remplir la base de données avec les informations collectées. La restitution des données se fait donc sous format de tables SQL, et les exports sous forme de requêtes SQL.

Mnogosearch pour quels usages ?

L’avantage de Mnogosearch est la possibilité de crawler de gros volumes (comme Botify, OnCrawl ou Hextrakt), ce qui est parfois difficile avec un Screaming Frog ou un Xenu.

Son inconvénient, est qu’il faut lui indiquer quelles données on souhaite récupérer, avant de crawler les pages. La première configuration du crawler peut ainsi être longue. En terme d’usages, Mnogosearch va être très utile pour réaliser des crawls de recette ou pour des études SEO « ad hoc ».

Parmi les exemples d’utilisation :

  • Audit SEO : répartition des codes réponses des pages
  • Audit SEO : répartition des temps de chargement (par type de page, SQL permet de le faire)
  • Audit SEO : répartition des niveaux de profondeur
  • Audit SEO : recueil des pages du site et croisement avec les visites pour détermines les pages actives
  • Migration : check des codes réponses des pages et URL de destination
  • Recette : présence d’un tag Analytics
  • Recette : présence du fil d’ariane

Requête « url » + « status » sur la table « url » :

mnogosearch-table-url

Extrait de la table complète « urlinfo » :

mnogosearch-table-urlinfo

marseo

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *