Robots.txt
Fichier placé à la racine d’un domaine qui indique aux crawlers les sections du site qu’ils peuvent explorer. Il s’agit d’une consigne d’exploration, pas d’un outil de désindexation fiable.
Qu’est-ce que le fichier robots.txt ?
Le fichier robots.txt, placé à la racine du domaine, indique aux robots d’exploration les zones du site qu’ils peuvent visiter. C’est une consigne d’exploration, pas un outil de désindexation : une page déjà indexée peut continuer d’apparaître dans les résultats même si le fichier en interdit l’accès.
Comment fonctionne le fichier robots.txt ?
Le fichier s’adresse aux robots par user-agent et définit des règles Allow/Disallow par chemin. Google le lit régulièrement, mais ne le suit pas à la lettre dans tous les cas : si d’autres pages pointent vers une URL bloquée, celle-ci peut être indexée sans contenu exploité.
User-agent: *
Disallow: /panier/
Disallow: /espace-client/
User-agent: Googlebot
Allow: /
Sitemap: https://www.example.com/sitemap.xmlQuelles erreurs éviter avec le robots.txt ?
- Bloquer des ressources (CSS, JS) nécessaires au rendu : la page risque d’être mal comprise.
- Utiliser Disallow pour désindexer : il faut une directive noindex ou la suppression de la page.
- Laisser trainer des règles de développement (Disallow: /) après la mise en ligne.
Exemple concret
Un site e-commerce bloque /recherche/ pour éviter que Google explore des millions de combinaisons de filtres. Le reste du catalogue reste explorable, et le sitemap continue de guider le robot vers les pages utiles.
Informations sur le terme
- Alias
- Fichier robots
- Catégorie
- SEO technique