أدوات السيو
مولّد Robots.txt (مع زواحف الذكاء الاصطناعي)
مولّد robots.txt مجاني مع قواعد بنقرة واحدة لزواحف الذكاء الاصطناعي مثل GPTBot وClaudeBot وGoogle-Extended وPerplexityBot، إضافة إلى خريطة الموقع وقواعد الزحف.
القواعد الافتراضية
أقسام خاصة أو قليلة القيمة ينبغي للزواحف تجاوزها.
- /admin
- /checkout
- /*?*
مسارات تبقى قابلة للزحف داخل مجلد محظور.
رابط مطلق واحد في كل سطر.
يتجاهل Googlebot هذه القيمة، بينما يلتزم بها Bing وYandex.
زواحف الذكاء الاصطناعي
حدِّد لكل زاحف على حدة مَن يحق له استخدام محتواك: لتدريب النماذج، أم للاستشهاد بك في إجابات الذكاء الاصطناعي المباشرة.
- GPTBotOpenAIتدريب
يجمع المحتوى لتدريب نماذج OpenAI.
- OAI-SearchBotOpenAIبحث ذكي
يفهرس الصفحات لتظهر في نتائج بحث ChatGPT.
- ChatGPT-UserOpenAIبطلب المستخدم
يجلب الصفحة مباشرةً عندما يسأل مستخدم ChatGPT عنها.
- ClaudeBotAnthropicتدريب
يجمع المحتوى لتدريب نماذج Claude من Anthropic.
- Claude-SearchBotAnthropicبحث ذكي
يفهرس الصفحات لتحسين إجابات البحث في Claude.
- Claude-UserAnthropicبطلب المستخدم
يجلب الصفحة مباشرةً عندما يطلبها مستخدم Claude.
- Google-ExtendedGoogleتدريب
يتحكم في استخدام محتواك لتدريب Gemini، ولا يؤثر في بحث Google.
- PerplexityBotPerplexityبحث ذكي
يفهرس الصفحات ليستشهد بها Perplexity ويضع روابطها.
- Perplexity-UserPerplexityبطلب المستخدم
يجلب الصفحة مباشرةً للإجابة عن سؤال مستخدم Perplexity.
- Applebot-ExtendedAppleتدريب
يتحكم في استخدام محتواك لتدريب نماذج Apple Intelligence.
- CCBotCommon Crawlتدريب
أرشيف مفتوح للويب يُستخدم على نطاق واسع في تدريب النماذج.
- BytespiderByteDanceتدريب
زاحف الشركة المالكة لتيك توك، ويُستخدم لتدريب النماذج.
- AmazonbotAmazonتدريب
يغذّي إجابات Alexa، وقد يُستخدم لتدريب نماذج Amazon.
- Meta-ExternalAgentMetaتدريب
يجمع المحتوى لتدريب نماذج Meta AI.
- cohere-aiCohereتدريب
زاحف مرتبط بالنماذج اللغوية لشركة Cohere.
- DuckAssistBotDuckDuckGoبحث ذكي
يجلب الصفحات لإجابات DuckDuckGo المدعومة بالذكاء الاصطناعي مع ذكر المصدر.
زواحف محركات البحث
تتبع هذه الزواحف القواعد الافتراضية أعلاه. لا تحظرها أبدًا في موقع منشور.
- Googlebot
- Bingbot
- Applebot
- YandexBot
- DuckDuckBot
- Baiduspider
ملف robots.txt الخاص بك
# robots.txt, generated with the 67 Digital robots.txt generator
# https://67.digital
# Default rules for every crawler
User-agent: *
Disallow: /admin
Disallow: /checkout
Disallow: /*?*
# AI crawlers that may NOT use this site
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Bytespider
User-agent: Amazonbot
User-agent: Meta-ExternalAgent
User-agent: cohere-ai
Disallow: /
# Allowed AI crawlers follow the default rules above:
# OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, DuckAssistBot
Sitemap: https://example.ae/sitemap.xmlارفعه إلى جذر نطاقك بحيث يُفتح على /robots.txt. هذا الملف طلب وليس قفلًا؛ تلتزم به الزواحف المنضبطة، لكنه لا يحمي البيانات الخاصة.
هل تريد أن ننجز ذلك عنك؟
يدير فريقنا السيو والمحتوى وأتمتة الذكاء الاصطناعي لعلامات تجارية في أبوظبي ودبي.
تحدّث مع 67 ديجيتال →