ما هو Robot .txt؟دليل كامل لفهم إعدادات ملف robots.txt في WordPress

عندما يتعلق الأمر بـ SEO لموقعك على الويب ، فإن Robot.txt أداة قوية.عندما تنشر منشورًا ، ستقوم روبوتات محرك البحث بالبحث في موقع الويب الخاص بك للفهرسة.

من أجل ضمان احتلال موقع الويب أو المنشور الخاص بك مرتبة عالية في صفحات نتائج محرك البحث (SERP) ، تحتاج إلى جعل "روبوتات" محرك البحث تتصفح بسهولة صفحاته الأكثر أهمية.منظم بشكل جيدملف robots.txt سيساعد الملف في توجيه هذه الروبوتات إلى الصفحة التي تريد فهرستها.

يوضح هذا المقال هناتحسين محركات البحثملف Robots.txt的أهمية، وكيفية إنشاء ملف robots txt وإرساله لموقع WordPress الإلكتروني؟

ما هو WordPress Robot .txt؟

يسمح لك ملف robots.txt (المعروف أيضًا باسم بروتوكول أو معيار استبعاد برامج الروبوت) بمنع محركات البحث من الوصول إلى ملفات ومجلدات معينة.أو أخبر روبوتات الويب (محركات البحث) بالصفحات والمشاركات التي يجب الزحف إليها على موقع الويب الخاص بك.

أهمية ملف Robots.txt SEO الخاص بك؟

كما ذكرنا سابقًا ، يخبر ملف Robots.txt محركات البحث بالصفحات التي يجب زيارتها والصفحات التي يجب عدم زيارتها على موقع الويب الخاص بك.على سبيل المثال ، إذا حددت في ملف Robots.txt أنك لا تريد أن تتمكن محركات البحث من الوصول إلى صفحة الملاحظات الخاصة بك ، فلن يتم عرض الصفحة في نتائج البحث ولن يتمكن مستخدمو الشبكة من العثور عليها.لخصوصية موقع الويب وتحسين محركات البحث ، من المهم منع محركات البحث من الوصول إلى صفحات معينة على موقع الويب الخاص بك.

أين يوجد نص robots.txt في WordPress؟

يوجد هذا الملف عادةً في المجلد الجذر للموقع.يمكنك عرض هذا الملف عن طريق الاتصال بموقعك باستخدام عميل FTP.يمكنك أيضًا استخدام مدير ملفات cPanel للقيام بذلك.

هل أحتاج إلى ملف robots.txt ووردبريس؟

بشكل افتراضي ، يقوم WordPress بتعيين ملف robots.txt ، ولكن لا يمكن الوصول إليه من أي دليل على الإطلاق.ومع ذلك ، إذا كنت ترغب في تغييره ، فأنت بحاجة إلى إنشاء ملفك الخاص وتحميله إلى المجلد الجذر الخاص بك كبديل.

كيفية إنشاء ملف robot TXT؟

يعد إنشاء ملف robot txt لموقع الويب الخاص بك أمرًا سهلاً للغاية

• افتح Notepad أو Microsoft Word أو أي محرر نصوص
• احفظ الملف كـ "روبوت" (تأكد من تحديد .txt كملحق لنوع الملف)
• بعد ذلك ، أضف سطري النص التاليين إلى الملف:

وكيل المستخدم:*
يحظر:

"وكيل المستخدم" هو مصطلح آخر للروبوتات أو عناكب محركات البحث.علامة النجمة (*) تعني أن هذا الخط ينطبق على جميع شبكات العنكبوت.هنا ، لا توجد ملفات أو مجلدات مدرجة في سطر "محظور" ، مما يعني أنه يمكن الوصول إلى كل دليل على الموقع.هذا هو الملف النصي الأساسي للروبوت.

يعد حظر عناكب محرك البحث من موقع الويب بالكامل أحد خيارات ملف robots.txt.للقيام بذلك ، أضف هذين السطرين إلى الملف:

وكيل المستخدم:*
يحظر:/

إذا كنت تريد حظر العناكب في مناطق معينة من موقع الويب الخاص بك ، فقد يبدو ملف robots.txt الخاص بك كما يلي:

وكيل المستخدم:*
محظور: / قاعدة بيانات /
المحظورة: / scripts /

تخبر الأسطر الثلاثة أعلاه جميع الروبوتات أنه لا يُسمح لها بالوصول إلى أي محتوى في قاعدة البيانات وأدلة البرنامج النصي أو الدلائل الفرعية.

ملاحظة: يرجى تذكر أنه يمكن استخدام ملف أو مجلد واحد فقط في سطر "محظور".يمكنك إضافة العديد من صفوف Disallow كما تريد.

تأكد من إضافة ملف خريطة موقع XML المألوف لمحرك البحث إلى ملف نصي الروبوت.سيضمن ذلك أن برامج الزحف يمكنها العثور على خريطة موقعك وفهرسة جميع صفحات موقعك بسهولة.استخدم الصيغة التالية:
خريطة الموقع: http://www.mydomain.com/sitemap.xml

عند الانتهاء ، احفظ ملف robots.txt وقم بتحميله إلى الدليل الجذر لموقعك على الويب.

www.mydomain.com/robots.txt.

استخدم Yoast لإنشاء ملف robots.txt

يمكن أن تختار المكونات الإضافية لتحسين محركات البحث مثل Yoast إنشاء ملفات robots.txt وتحريرها من داخل لوحة معلومات WordPress.

• قم بتثبيت Yoast SEO وانتقل إلى صفحة "الأدوات" ضمن قائمة تحسين محركات البحث.
• هنا ، يمكنك مشاهدة ملف robots.txt الخاص بموقعك على الويب / مدونتك.
• إذا لم يكن لديك ملف robots.txt ، فالرجاء النقر فوق الزر إنشاء ملف robots.txt لإنشاء ملف.

إذا كنت لا ترى خيار محرر الملفات ، فذلك لأنك عززت أمان WordPress.يمكنك تمكين خيار تحرير الملف عن طريق حذف السطر التالي من ملف wp-config.php.

تعريف ('DISALLOW_FILE_EDIT' ، صحيح) ؛

سيظهر ملف Robot.txt الحالي الخاص بك على النحو التالي:

وكيل المستخدم: *

غير مسموح: /

إذا كنت تستخدم ملفات  All in One SEOالرجاء في مركز المعلوماتيفتح"مدير الوظائف "صفحة.في الداخل ، ستجد ملفًا يسمىملف robots.txtخيارات ،انهاأدناههناك أمر واضح "تفعيل "زر لإرسال ملف robots.txt.

كيف يمكنكفي WordPressتحريرملف robots.txtلدي أي شك؟واسمحوا لنا أن نعرف في قسم التعليقات أدناه!