Comment Semrush transforme les données de trafic en intelligence de trafic

Vous vous êtes peut-être demandé d'où provenaient les renseignements sur le trafic que vous voyez dans nos outils Analyse du trafic et Market Explorer. 

Ce billet dévoile les processus au cœur de ces solutions : de la collecte des données brutes aux informations prêtes à l'emploi visibles dans les outils.

Toutes les données passent essentiellement par ces quatre étapes clés :

1. Collecte des données
2. Nettoyage des données
3. Modélisation des données
4. Livraison des données

Collecte des données

Nous recevons des téraoctets de données d'un panel de divers fournisseurs de données tiers tous les jours ou tous les deux jours. C'est ce qu'on appelle les données clickstream : elles offrent une vue agrégée des parcours de millions d'internautes réels mais anonymisés en suivant leur activité en ligne. 

Les données clickstream nous permettent d'identifier les statistiques et les tendances générales du comportement des utilisateurs. 

Nettoyage des données

Toutes les données sont agrégées et alignées via un format commun dans le système d'analyse du trafic. 

Grâce à notre modèle propriétaire d'apprentissage automatique, nous débarrassons les données de diverses anomalies. 

Au fur et à mesure de son apprentissage, notre IA commence à reconnaître des schémas similaires à ceux du cerveau humain, transformant notre modèle en un algorithme complet capable de repérer les anomalies et de mieux séparer les données douteuses des données représentatives.

Nous recoupons également les données avec la base de données des backlinks de Semrush et la base de données des positions organiques dans les SERP pour voir si elles correspondent aux spécificités de chaque pays et appareil.

Une fois les données examinées par notre algorithme, nous obtenons une image plus réaliste des sessions génériques des utilisateurs, et c'est autour de cet ensemble de données que nous construisons nos métriques de l'engagement.

Modélisation et livraison des données

À ce stade, nous disposons d'une boîte à big data où nous stockons les données clickstream et propriétaires.

Avant d'entrer ces données dans notre modèle d'apprentissage automatique, elles sont soumises à une vérification supplémentaire. Nous normalisons les données, en tenant compte de la popularité du domaine, ainsi que du comportement « typique » de l'utilisateur dans les pays, les données démographiques, les appareils et les différents secteurs.

Par exemple, un utilisateur des États-Unis qui n'utilise le Web qu'une fois par mois aura plus de chances de se rendre sur Google (un domaine populaire) que le site Web de la FDA (un domaine un peu moins visité). Nous éliminons donc la partie des utilisateurs dont les habitudes d'activité sont très faibles afin d'obtenir des données plus précises pour les sites Web les plus populaires et les moins visités.

Cela nous permet de saisir des données plus significatives dans notre modèle d'apprentissage automatique. 

L'algorithme passe par l'apprentissage supervisé, ce qui signifie que notre technologie du big data s'améliore et apprend chaque jour.

Au sujet de la couverture des données de trafic de Semrush

Avec la qualité des données, il n'y a pas de limite. Nous nous efforçons donc constamment d'ajouter de nouvelles données à nos outils, tandis que nos technologies d'IA et de big data continuent d'apprendre et de faire évoluer leurs algorithmes.

Nous avons récemment mis à jour notre modèle de traitement des données pour recueillir des informations sur le trafic, ce qui nous a permis d'étendre la couverture de nos données sur le trafic de 20 %.

Ci-dessous, vous pouvez découvrir ce qui a changé exactement.

*Les événements représentent le fait qu'un utilisateur a visité une certaine page Web.

**Les sessions are sont un ensemble d'actions qu'un utilisateur effectue avec un site Web donné pendant une durée limitée. Dans Semrush .Trends, nous faisons référence aux sessions en tant que visites.