Google vient de dévoiler deux nouveaux robots d'exploration, GoogleOther-Image et GoogleOther-Video, conçus pour améliorer l'exploration des données binaires telles que les images et les vidéos. Ces nouveaux robots s'ajoutent à la famille des Googlebot, déjà composée de plusieurs types de crawlers pour diverses fonctions.
Publié le 21/05/2024
Objectif des nouveaux robots
Les robots GoogleOther-Image et GoogleOther-Video sont des versions spécialisées du robot GoogleOther, lancé en avril 2023. Leur mission principale est de récupérer des URLs d’images et de vidéos accessibles au public pour des raisons de recherche et développement, sans impacter l’indexation ou le classement des pages dans les résultats de recherche Google. Contrairement à d’autres crawlers, les données collectées par ces robots ne sont pas destinées à l’entraînement des modèles d’intelligence artificielle, rôle qui incombe au crawler Google-Extended.
GoogleOther-Image
GoogleOther-Image est spécifiquement optimisé pour extraire des données d’images. Il utilise les jetons d’agent utilisateur « GoogleOther-Image » et « GoogleOther ». La chaîne complète de l’agent utilisateur est « GoogleOther-Image/1.0 ».
Les propriétaires de sites peuvent bloquer ce crawler en ajoutant les jetons appropriés dans leur fichier robots.txt, sans impact sur le classement de leurs pages.
GoogleOther-Video
De manière similaire, GoogleOther-Video est conçu pour l’exploration des vidéos. Il utilise les jetons « GoogleOther-Video » et « GoogleOther », avec une chaîne d’agent utilisateur complète « GoogleOther-Video/1.0 ».
Là encore, les propriétaires de sites peuvent choisir de bloquer ce crawler via le fichier robots.txt.
Pourquoi ces nouveaux crawlers ?
Google a introduit ces nouveaux crawlers pour mieux gérer l’exploration des données binaires, une tâche qui consomme des ressources significatives. En les déléguant à des robots spécialisés, Google peut optimiser l’utilisation de ses ressources et libérer les principaux crawlers, comme Googlebot, pour d’autres tâches essentielles.
Comment identifier et bloquer les nouveaux crawlers
Les professionnels du SEO et les webmasters peuvent identifier ces nouveaux robots dans leurs fichiers de logs grâce aux jetons d’agent utilisateur spécifiques. Google assure que ces robots sont authentiques et fournit des plages d’adresses IP et des masques DNS inversés pour faciliter leur identification. Pour ceux qui préfèrent ne pas voir leurs images et vidéos explorées par ces nouveaux robots, le blocage peut être effectué sans crainte d’impact négatif sur le classement de leurs contenus.
Avec GoogleOther-Image et GoogleOther-Video, Google continue d'améliorer ses capacités d'exploration pour répondre aux besoins croissants de recherche et développement. Ces outils spécialisés permettent une gestion plus efficace des données binaires, tout en offrant aux propriétaires de sites la flexibilité de choisir comment leurs contenus sont explorés.
Pour plus d'informations sur ces nouveaux robots et comment les gérer, vous pouvez consulter la documentation mise à jour de Google sur les crawlers.