مولّد ملف robots.txt
أنشئ ملف robots.txt متوافقًا مع المعايير يخبر محركات البحث بما يجب الزحف إليه بالضبط.
How it works
تجمّع الأداة توجيهات User-agent وAllow/Disallow، ثم تضيف سطر Sitemap:. الناتج يتبع بروتوكول استبعاد الروبوتات بحيث تفهمه Google وBing وغيرها فورًا.
Worked example
User-agent: * / Allow: / / Disallow: /admin / Disallow: /private / Sitemap: https://example.com/sitemap.xml — نقطة بداية آمنة لمعظم المواقع.
Recommendations
- احظر مجلدات الإدارة والنسخ الاحتياطي والخاصة لتجنب فهرسة الصفحات الحساسة
- أشر دائمًا إلى sitemap.xml ليتمكن الزاحفون من العثور على المحتوى الجديد أسرع
- أبقِ robots.txt قصيرًا وواضحًا — جوجل تتجاهل الملفات الضخمة
Tips & advice
- استخدم Disallow: / بدون مسار لحظر روبوت كامل، لكن لا تحظر Googlebot بالكامل أبدًا
- اختبر ملفك عبر Google Search Console → مفحص robots.txt
- أضف قواعد User-agent منفصلة لـ GPTBot وCCBot إذا أردت منع تدريب نماذج الذكاء الاصطناعي
مولّد مخطط المقال
أضف بيانات منظمة للمقال تساعد Google على فهم محتواك وعرضه بشكل أفضل.
مولّد مخطط المنتج
أضف بيانات منظمة للمنتج بالسعر والتوفر والتقييمات للتأهل للنتائج الغنية وGoogle Shopping.
مولّد مخطط الأعمال المحلية
أضف بيانات منظمة للأعمال المحلية بعنوانك وساعات عملك وبيانات الاتصال لتحسين SEO المحلي.
مولّد Open Graph
أنشئ وسوم Open Graph لتظهر روابطك بشكل مذهل عند المشاركة على الشبكات الاجتماعية وتطبيقات المراسلة.
مولّد ملف robots.txt
أنشئ ملف robots.txt متوافقًا مع المعايير يخبر محركات البحث بما يجب الزحف إليه بالضبط.
Generate now — Freeمولّد ملف robots.txt — step by step
اختر User-agent: * لجميع الزاحفين أو استهدف روبوتات محددة مثل Googlebot أو Bingbot أو GPTBot للتحكم الدقيق.
أدخل المجلدات أو الملفات التي تريد حظرها (مثل /admin أو /cart). كل شيء آخر مسموح افتراضيًا.
الصق موقع خريطة الموقع (https://yourdomain.com/sitemap.xml). هذا السطر يساعد محركات البحث على اكتشاف كل صفحاتك.
انقر توليد، انسخ الناتج في ملف باسم robots.txt وارفعه إلى جذر موقعك. تحقق منه في Google Search Console.
الأسئلة الشائعة عن أدوات SEO
ملف robots.txt هو ملف نصي يوضع في جذر موقعك يخبر برامج زحف محركات البحث عن عناوين URL المسموح أو الممنوع الوصول إليها. وهو أول ملف يفحصه الزاحفون.
لا. robots.txt يمنع الزحف وليس الفهرسة. لمنع الفهرسة استخدم وسم meta noindex أو ترويسة X-Robots-Tag. إذا لم تستطع Google زحف الصفحة، فلن تفهرسها عادة.
ارفعه في جذر نطاقك ليصبح متاحًا على https://yourdomain.com/robots.txt. معظم شركات الاستضافة تسمح بوضعه في مجلد public_html أو www.
نعم. أضف حظر User-agent: GPTBot أو User-agent: CCBot لرفض تدريب النماذج مع إبقاء زحف Google نشطًا.
More Free Tools
Explore the whole collection — no signup, 100% free & private.