Pour gérer vos consentements :
Categories: Big dataData-stockage

Référencement Google : les règles changent pour le noindex

Demander à Googlebot de ne pas indexer une page ? Il y a l’instruction « noindex » pour ça, mais évitez de la mettre dans le fichier robots.txt.

Google donne ce conseil aux webmasters. Et leur recommande de privilégier la mise en œuvre du noindex soit en tant que balise meta, soit sous forme d’en-tête de réponse HTTP.

Le 1er septembre 2019, une étape supplémentaire sera franchie : Googlebot ne prendra tout simplement plus en compte le noindex dans les fichiers robots.txt.

Cette démarche fait écho à la mise en open source de la bibliothèque logicielle sur laquelle le robot d’exploration de Google s’appuie pour interpréter les fichiers robots.txt.

Objectif : aller vers un standard qui évite des implémentations variables en fonction des robots d’indexation*. Dans ce cadre, Google mise sur une architecture extensible qui permette d’implémenter à loisir des instructions non documentées dont le noindex – mais aussi le « nofollow » ou le « crawl-delay ». Ces instructions ne seront ainsi plus prises en charge par défaut.

Effets secondaires

Pour faire en sorte qu’une page ne soit pas indexée, il existe d’autres techniques, dont la protection par mot de passe et l’utilisation du code de statut HTTP 404.

Au contraire, affirme Google, le recours au noindex dans le fichier robots.txt peut avoir des effets indésirables.

« Si nous trouvons un lien sur un site tiers qui dirige vers votre page et qui s’accompagne d’un texte descriptif, un résultat de recherche peut en ressortir », nous explique-t-on entre autres.
Dans ce cas, si une balise noindex était bel et bien incluse sur la page, Googlebot ne pourrait la voir, l’exploration étant bloquée par le fichier robots.txt.

* Les instructions de fichiers robots.txt doivent être considérées comme des consignes et non des règles, assure Google. Il est possible que certains robots ne les suivent pas. Et tous ne les interprètent pas de la même façon.

Photo d’illustration © Google

Recent Posts

Surface Pro 10 : plus autonome et un peu plus réparable

La Surface Pro 10 sera disponible le 9 avril en France. Passage en revue de…

3 jours ago

Office 2024 : ce qu’on sait de la prochaine version

Que réserve Office 2024 ? Une première version de test officielle sera disponible en avril.…

7 jours ago

Microsoft Teams : comment fonctionne le double usage « pro-perso »

Microsoft Teams évolue dans une version « unifiée » qui permet de combiner les usages…

2 semaines ago

GenAI : comment choisir une solution « prête à l’emploi »

Les offres d'intelligence artificielle générative (GenAI) "prêtes à l'emploi" sont nombreuses et proposent une variété…

3 semaines ago

Sora : comment fonctionne le nouveau modèle text-to-vidéo

OpenAI, l'inventeur de ChatGPT, lance un nouveau modèle text-to-vidéo qui impressionne par sa qualité. Appelé…

1 mois ago

GenAI : qui peut accéder à Gemini (ex Bard) ?

Google a officialisé le lancement de Gemini, le nouveau nom de son outil de GenAI.…

1 mois ago