Comme vous le savez peut-être, la solution d’analyse de logs d’Oncrawl vous permet de suivre des métriques pour les quatre moteurs de recherche principaux : Google, Bing, Baidu et Yandex. Le suivi de Google est inclus par défaut dans tous les plans de suivi des logs, et vous pouvez facilement ajouter d’autres moteurs de recherche en nous contactant par le biais du tchat de l’application.
Toutes les métriques sont disponibles pour les quatre moteurs de recherche.Par défaut, la plupart de nos graphiques affichent les données pour un seul moteur de recherche à la fois. Vous pouvez facilement basculer entre les moteurs de recherche en utilisant le menu déroulant “Bot” en haut de toutes les pages de suivi des logs.
Quelles informations clés nous apportent la comparaison des tendances dans les crawls des moteurs de recherche ?
Chaque moteur de recherche explore les sites Web en fonction de ses ressources disponibles et de son « budget de crawl ». Dans le cas présent, j’utilise le terme « budget de crawl » pour désigner l’importance – ou le « budget » mesuré en temps et en nombre de hits du bot – qu’un moteur de recherche est prêt à accorder à un site Web.
De plus, les moteurs de recherche fonctionnent selon leur propre calendrier : ils peuvent connaître des pics de trafic à des moments différents ou à des saisons différentes en raison des différents fuseaux horaires ou marchés auxquels ils s’adressent. Ils évoluent également à leur propre rythme, ce qui signifie que les nouvelles fonctionnalités et les mises à jour d’algorithmes susceptibles d’entraîner des modifications du comportement de crawl pour Bing ne se produiront pas nécessairement au même moment que pour Google.
Cependant, l’écosystème des moteurs de recherche n’est pas le seul facteur qui peut influencer le
budget de crawl. Des événements extérieurs qui provoquent un pic d’activité de recherche sur les moteurs de recherche, ou des changements sur site tels que des mises à jour majeures de contenu, des modifications importantes du référencement ou même des pannes de serveur, peuvent provoquer des changements temporaires de comportement sur plusieurs moteurs de recherche.
Pouvoir attribuer les changements de comportement et de crawl budget au moteur de recherche plutôt qu’à des éléments liés au marché ou au site Web peut vous aider à détecter les erreurs sur site et les changements de comportement sur votre marché.
L’une des meilleures façons d’y parvenir est de comparer les tendances du comportement de crawl des moteurs de recherche. Un contrôle visuel, même superficiel, permet de distinguer rapidement les événements globaux – comme les problèmes de serveur – des éléments spécifiques aux moteurs de recherche – comme les modifications trop agressives de robots.txt qui ciblent un seul moteur de recherche.
Pourquoi Oncrawl ne montre-t-il pas toute l’activité des moteurs de recherche sur un seul graphique ?
Selon ce que vous souhaitez pouvoir analyser, il peut s’avérer important de pouvoir visualiser les différences entre les tendances dans le comportement des bots des différents moteurs de recherche. Alors, pourquoi la plupart des graphiques Oncrawl ne montrent-ils qu’un seul moteur de recherche à la fois ?
La réponse est la lisibilité. Pour de nombreux sites, le trafic des moteurs de recherche est dominé par un seul moteur de recherche. Dans ce cas, cela peut fausser l’échelle et rendre impossible la détection des tendances des autres moteurs de recherche.
Voici un exemple de ce à quoi cela peut ressembler. Malgré les visites quotidiennes de Baidu, le fait que ce site se concentre sur Google rend presque impossible l’identification de tendances dans les hits de Baidu :
La solution: des tableaux de bord personnalisés
Au lieu d’afficher tous les moteurs de recherche sur un seul graphique, nous pouvons les afficher dans leurs propres graphiques, mais sur un seul tableau de bord.
Pour cela, nous utiliserons le Dashboard Builder de Oncrawl, qui vous permet de combiner n’importe quel graphique des rapports Oncrawl, dans n’importe quel ordre, pour créer votre propre tableau de bord.
Création du tableau de bord
Tout d’abord, nous allons créer un tableau de bord personnalisé. À partir de n’importe quel rapport, ouvrez le menu Tools dans la barre latérale de gauche et sélectionnez le Dashboard Builder. Vous démarrez automatiquement avec un tableau de bord vierge, et vous pouvez commencer tout de suite à y ajouter des graphiques.
Pour trouver un graphique, le plus simple est de faire une recherche, puis de faire défiler les résultats, qui sont regroupés par type de données. Les graphiques sont listés selon leur nom.
Concentrons-nous d’abord sur le comportement de crawl. Le graphique principal du comportement de crawl peut être trouvé en recherchant le nom du moteur de recherche qui nous intéresse.
Ajoutez le graphique à votre tableau de bord en le faisant glisser et en le déposant où vous voulez.
Je préfère créer une ligne distincte pour chaque moteur de recherche.
Puisque nous essayons de faire la distinction entre les tendances des moteurs de recherche et les problèmes de site Web (comme les problèmes de serveur), il est également judicieux d’examiner les status codes des réponses aux requêtes des robots par jour et par page sur votre site. Si les baisses d’activité des moteurs de recherche correspondent à des pics de réponses 5xx ou 4xx, vous pouvez être à peu près sûr de votre diagnostic.
Tout d’abord, ajoutez une copie du graphique « Status codes encountered by bots by pages by days » à chaque ligne.
Nous allons maintenant modifier les informations affichées dans chaque graphique, afin de les limiter aux bots qui nous intéressent pour cette ligne.
Cliquez sur le graphique que vous voulez modifier, puis sélectionnez le bot à filtrer :
Je préfère également définir l’échelle de l’axe des Y (l’axe vertical) en valeurs absolues plutôt qu’en pourcentages.
Lecture du tableau de bord
Une fois qu’un tableau de bord personnalisé a été enregistré, il sera disponible pour toute analyse dans le projet sous « My reports » dans la barre latérale de gauche.
Lors de la lecture de ce tableau de bord, il y a deux choses sur lesquelles nous devons nous concentrer :
- Premièrement, faire un contrôle visuel des tendances du comportement des moteurs de recherche, dans les graphiques des hits de bots par jour sur la gauche.
- Deuxièmement, ajustez les status codes HTTP données comme réponse aux requêtes des robots dans les graphiques de droite pour n’afficher que les erreurs afin de vérifier les pics et les correspondances.
Utilisation de ce tableau de bord multi-moteurs de recherche dans vos propres projets
Si vous avez aimé ce tableau de bord et si vous voulez jouer avec, ou si vous voulez l’utiliser tel quel dans vos propres projets, vous pouvez le télécharger gratuitement ici.
Pour le télécharger dans votre propre projet, suivez ces instructions :
- Sur la page d’accueil du projet, cliquez sur « Manage custom dashboards ».
- Déposez le fichier JSON que vous venez de télécharger dans la zone « Upload » en haut à gauche.
Ou suivez ce tutoriel rapide !
