Générez un fichier robots.txt conforme qui indique aux moteurs de recherche exactement quoi explorer.
L'outil assemble les directives User-agent et Allow/Disallow, puis ajoute votre ligne Sitemap:. La sortie respecte le protocole d'exclusion des robots afin que Google, Bing et les autres robots la comprennent immédiatement.
User-agent: * / Allow: / / Disallow: /admin / Disallow: /private / Sitemap: https://example.com/sitemap.xml — un point de départ sûr pour la plupart des sites.
Ajoutez des données structurées Article, NewsArticle ou BlogPosting pour aider Google à mieux comprendre et afficher votre contenu.
Ajoutez des données structurées Product avec prix, disponibilité et avis pour être éligible aux résultats enrichis et à Google Shopping.
Ajoutez des données structurées LocalBusiness avec votre adresse, vos horaires et vos coordonnées pour améliorer le SEO local.
Générez des balises Open Graph pour que vos liens soient magnifiques lors du partage sur les réseaux sociaux et applications de messagerie.
Générez un fichier robots.txt conforme qui indique aux moteurs de recherche exactement quoi explorer.
Generate now — FreeSélectionnez User-agent: * pour tous les robots ou ciblez des robots précis comme Googlebot, Bingbot ou GPTBot pour un contrôle fin.
Saisissez les dossiers ou fichiers à bloquer (par exemple /admin, /panier). Tout le reste est autorisé par défaut.
Collez l'emplacement de votre sitemap (https://votredomaine.com/sitemap.xml). Cette ligne aide les moteurs de recherche à découvrir toutes vos pages.
Cliquez sur Générer, copiez la sortie dans un fichier nommé robots.txt et téléversez-le à la racine de votre site. Vérifiez-le dans Google Search Console.
Le fichier robots.txt est un fichier texte placé à la racine de votre site qui indique aux robots des moteurs de recherche quelles URL ils peuvent ou non explorer. C'est le premier fichier consulté par les robots.
Non. robots.txt bloque l'exploration, pas l'indexation. Pour empêcher l'indexation, utilisez une balise meta noindex ou un en-tête X-Robots-Tag. Si Google ne peut pas explorer une page, il ne peut généralement pas l'indexer non plus.
Téléversez-le à la racine de votre domaine pour qu'il soit disponible à l'adresse https://votredomaine.com/robots.txt. La plupart des hébergeurs permettent de le placer dans le dossier public_html ou www.
Oui. Ajoutez un bloc User-agent: GPTBot ou User-agent: CCBot pour refuser l'entraînement des modèles IA tout en laissant Google explorer votre site.
Explore the whole collection — no signup, 100% free & private.