Le robot d'exploration de Google ne prendra bientôt plus les instructions noindex renseignées dans les fichiers robots.txt. Quelles méthodes alternatives ?
News robots.txt
Sécurité IT : cette vitrine nommée robots.txt
Exploités pour l'indexation dans les moteurs de recherche, les fichiers robots.txt peuvent révéler bien des secrets sur les sites Internet, selon un chercheur en sécurité.