نموذج النتائج

نموذج نتائج فاحص Robots.txt

يركز التقرير على ما إذا كان robots.txt متاحًا وآمنًا للزحف ويوفر توجيهًا واضحًا إلى sitemap.

الفحوصات المضمنة

توفر الملف وحالة الاستجابة
قواعد عامة خطرة مثل `Disallow: /`
وجود توجيه sitemap

الإجراءات الموصى بها

أزل قواعد الحظر الشامل من الموقع الإنتاجي.
أبقِ صفحات المحتوى والمسارات المهمة قابلة للزحف.
أضف سطر sitemap واضحًا يشير إلى النطاق الأساسي.