Surveiller le crawl des robots sur votre site via Analytics et WordPress

En SEO, optimiser les pages où les visiteurs doivent aller est la règle d’or. Il faut donc faire en sorte que les moteurs passent plus de temps sur les pages importantes que sur les autres, et pour savoir ce que fait rééllement le robot, il n’y a qu’une méthode: c’est l’analyse des logs serveurs.

Surveiller le crawling des robots permet de bien comprendre ce que voit le robot (par ex des pages 404), et où il passe le plus clair de son temps (page d’accueil ou pages profondes).
Il y a plusieurs méthodes pour surveiller le crawling:

– récupérer les logs d’Apache, puis les passer dans une moulinette sur son serveur comme la Watussibox.
– récupérer les logs d’Apache, puis les envoyer à un service comme Botify.
– traiter en temps réél le crawl des bots depuis Analytics.

C’est cette dernière méthode que j’ai choisi. Pour cela, j’ai créé un plugin WordPress qui se charge d’analyser le UserAgent et qui s’il s’agit d’un bot ou d’un crawler se charge de renvoyer les informations sur Analytics sur un profil dédié (pensez à créér un UA spécifique et à le renseigner dans le tableau de bord du plugin WordPress).

Le plugin wordpress d’analyse de crawl est disponible ici.

Dites-moi dans les commentaires ce que vous en pensez.

4 réflexions au sujet de “Surveiller le crawl des robots sur votre site via Analytics et WordPress”

  1. Bonjour,
    Ce plugin est-il toujours fonctionnel ou maintenu ?
    Quoiqu’il en soit l’initiative est plus qu’intéressante.
    Merci de votre réponse (en commentaire ou en message privé).
    Julien de NetWash.

    Répondre

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.