100% Gratuit · Sans inscription

Générateur de robots.txt

Générez un fichier robots.txt conforme qui indique aux moteurs de recherche exactement quoi explorer.

Advertisement
Advertisement

How it works

L'outil assemble les directives User-agent et Allow/Disallow, puis ajoute votre ligne Sitemap:. La sortie respecte le protocole d'exclusion des robots afin que Google, Bing et les autres robots la comprennent immédiatement.

Worked example

User-agent: * / Allow: / / Disallow: /admin / Disallow: /private / Sitemap: https://example.com/sitemap.xml — un point de départ sûr pour la plupart des sites.

Recommendations

  • Bloquez les dossiers admin, staging et privés pour éviter l'indexation de pages sensibles
  • Référencez toujours votre sitemap.xml pour que les robots trouvent vos contenus plus vite
  • Gardez robots.txt court et lisible — Google ignore les fichiers trop volumineux

Tips & advice

  • Utilisez Disallow: / sans chemin pour bloquer un robot entier, mais ne bloquez jamais Googlebot globalement
  • Testez votre fichier avec Google Search Console → Testeur robots.txt
  • Ajoutez des règles User-agent dédiées pour GPTBot et CCBot si vous souhaitez refuser l'entraînement de l'IA
Vous aimerez aussi

Générateur de robots.txt

Générez un fichier robots.txt conforme qui indique aux moteurs de recherche exactement quoi explorer.

Generate now — Free
100% Free No signup Private & secure
Step by Step

Générateur de robots.txt — step by step

Sélectionnez User-agent: * pour tous les robots ou ciblez des robots précis comme Googlebot, Bingbot ou GPTBot pour un contrôle fin.

Saisissez les dossiers ou fichiers à bloquer (par exemple /admin, /panier). Tout le reste est autorisé par défaut.

Collez l'emplacement de votre sitemap (https://votredomaine.com/sitemap.xml). Cette ligne aide les moteurs de recherche à découvrir toutes vos pages.

Cliquez sur Générer, copiez la sortie dans un fichier nommé robots.txt et téléversez-le à la racine de votre site. Vérifiez-le dans Google Search Console.

Help Center

FAQ des outils SEO

Le fichier robots.txt est un fichier texte placé à la racine de votre site qui indique aux robots des moteurs de recherche quelles URL ils peuvent ou non explorer. C'est le premier fichier consulté par les robots.

Non. robots.txt bloque l'exploration, pas l'indexation. Pour empêcher l'indexation, utilisez une balise meta noindex ou un en-tête X-Robots-Tag. Si Google ne peut pas explorer une page, il ne peut généralement pas l'indexer non plus.

Téléversez-le à la racine de votre domaine pour qu'il soit disponible à l'adresse https://votredomaine.com/robots.txt. La plupart des hébergeurs permettent de le placer dans le dossier public_html ou www.

Oui. Ajoutez un bloc User-agent: GPTBot ou User-agent: CCBot pour refuser l'entraînement des modèles IA tout en laissant Google explorer votre site.

Advertisement
Advertisement