robots.txt: الدليل الكامل

وظيفة robots.txt

robots.txt ملف نصي في جذر نطاقك يخبر برامج الزحف بالأجزاء المسموح زحفها. إنه طلب لا حماية: البرامج المهذّبة تحترمه وغيرها تتجاهله.

ليس لإخفاء الصفحات: استخدم noindex لذلك.

التوجيهات الأساسية

ملف بداية آمن

User-agent: *
Allow: /
Disallow: /api/
Disallow: /search
Disallow: /*?s=

Sitemap: https://example.com/sitemap.xml

أنشئ ملفًا صحيحًا مع مولّد robots.txt.

Allow وDisallow: الترتيب

الأطول مطابقةً يفوز، لذا التحديد مهم. Allow: /blog قد ينشئ استثناءً تحت Disallow: /. اختبر القواعد الغامضة قبل النشر.

ستة أخطاء تضرّ

1. Disallow: / في الإنتاج — يُخرج الموقع كله.
2. حجب CSS وJS — يحتاجهما Google للعرض.
3. الاعتماد على robots.txt للخصوصية — استخدم المصادقة.
4. حجب الـ sitemap أو صفحات تريد فهرستها.
5. أخطاء صياغة — Disallow / بدون نقطتين يُتجاهل.
6. غياب إشارة الـ sitemap.

robots.txt وnoindex معًا

فخ كلاسيكي: إذا كانت الصفحة محظورة في robots.txt فلن يرى الزاحف وسم noindex — وقد تُفهرس. لإزالتها، اسمح بالزحف وأضف noindex.

اختبر قبل النشر

انشر على بيئة تجريبية، افتح /robots.txt، وتأكد من سماح URL المتوقعة. راقب التغطية في Search Console بعد النشر.

ابنِ ملفك

استخدم مولّد robots.txt مجانًا، ثم اقرنه بـ خريطة موقع XML.