מהו Robot.txt?מדריך מלא להבנת הגדרות הקובץ robots.txt של WordPress

Robot.txt הוא כלי רב עוצמה בכל הנוגע לקידום אתרים באתר שלך.כאשר אתה מפרסם פוסט, בוטים של מנועי חיפוש סורקים את האתר שלך לצורך הוספה לאינדקס.

על מנת להבטיח שהאתר או הפוסט שלך מדורגים גבוה בדפי תוצאות מנועי החיפוש (SERP), עליך להקל על "בוטים" של מנועי החיפוש לנווט בדפים החשובים ביותר שלהם.מובנה היטבrobots.txt הקבצים יעזרו להפנות את הרובוטים האלה לדפים שאתה רוצה שהם יאנדקס.

מאמר זה כאן מסבירקידום אתריםקובץ Robots.txt的חֲשִׁיבוּת, וכיצד ליצור קובץ טקסט של רובוטים עבור אתר וורדפרס?

מהו WordPress Robot .txt?

קובץ robots.txt (הידוע גם בשם Robot Exclusion Protocol או Standard) מאפשר למנוע ממנועי חיפוש גישה לקבצים ותיקיות מסוימים.או תגיד לבוטים באינטרנט (מנועי חיפוש) אילו דפים, פוסטים באתר שלך לסרוק.

החשיבות של קובץ Robots.txt שלך עבור SEO שלך?

כפי שהוזכר קודם לכן, קובץ Robots.txt שלך אומר למנועי החיפוש באילו דפים לבקר ובאילו דפים לא לאינדקס באתר שלך.לדוגמה, אם תציין בקובץ Robots.txt שאתה לא רוצה שמנועי חיפוש יוכלו לגשת לדף המשוב שלך, הדף לא יופיע בתוצאות החיפוש ומשתמשי אינטרנט לא יוכלו למצוא אותו.חסימת מנועי חיפוש מגישה לדפים מסוימים באתר שלך היא קריטית לפרטיות האתר שלך ול-SEO.

איפה ה-robots txt בוורדפרס?

קובץ זה נמצא בדרך כלל בתיקיית השורש של האתר.אתה יכול להציג קובץ זה על ידי התחברות לאתר שלך באמצעות לקוח FTP.אתה יכול גם להשתמש במנהל הקבצים של cPanel כדי לעשות זאת.

האם אני צריך קובץ robots.txt עבור וורדפרס?

כברירת מחדל, וורדפרס מגדירה קובץ robots.txt, אך לא ניתן לגשת אליו מכל ספרייה בכלל.עם זאת, אם תרצה לשנות אותו, תצטרך ליצור קובץ משלך ולהעלות אותו לתיקיית השורש שלך כתחליף.

כיצד ליצור קובץ txt רובוט?

קל מאוד ליצור קובץ רובוט txt עבור האתר שלך

• פתח את Notepad, Microsoft Word או כל עורך טקסט
• שמור את הקובץ בתור "רובוט" (הקפד לבחור ב-.txt בתור סיומת סוג הקובץ)
• לאחר מכן, הוסף את שתי שורות הטקסט הבאות לקובץ:

סוכן משתמש: *
לֶאֱסוֹר:

"סוכן משתמש" הוא מונח נוסף לבוט או עכביש של מנוע חיפוש.כוכבית (*) מציינת ששורה זו חלה על כל קורי העכביש.כאן לא רשומים קבצים או תיקיות בשורת ה"אסור", כלומר כל ספרייה באתר נגישה.זהו קובץ הטקסט הבסיסי של הרובוט.

חסימת עכבישים למנועי חיפוש מכל האתר היא גם אחת מאפשרויות ה-robots.txt.לשם כך, הוסף את שתי השורות הבאות לקובץ:

סוכן משתמש: *
לֶאֱסוֹר:/

אם רצית לחסום עכבישים באזורים מסוימים באתר שלך, ה-robots.txt שלך עשוי להיראות כך:

סוכן משתמש: *
אסור: /database/
אסור: /scripts/

שלוש השורות לעיל אומרות לכל הרובוטים לא לאפשר להם לגשת לשום דבר במסד הנתונים ובספריית הסקריפטים או בתיקיות המשנה.

הערה: זכור שהשורה "אסור" יכולה להשתמש רק בקובץ אחד או בתיקייה אחת.אתה יכול להוסיף כמה שורות של Disallow שתרצה.

הקפד להוסיף את קובץ ה-Sitemap XML הידידותי לקידום אתרים לקובץ הטקסט של הבוטים.זה יבטיח שסורקים יוכלו למצוא את מפת האתר שלך ולהוסיף בקלות את כל הדפים באתר שלך.השתמש בתחביר הבא:
מפת אתר: http://www.mydomain.com/sitemap.xml

לאחר שתסיים, שמור את קובץ robots.txt והעלה אותו לספריית השורש של האתר שלך.

www.mydomain.com/robots.txt.

צור קובץ robots.txt עם Yoast

תוספים לקידום אתרים כמו Yoast יש אפשרות ליצור ולערוך קבצי robots.txt מתוך לוח המחוונים של וורדפרס.

• התקן את Yoast SEO ונווט אל דף הכלים תחת תפריט SEO.
• כאן תוכל לראות את קובץ robots.txt עבור האתר/בלוג שלך.
• אם אין לך קובץ robots.txt, לחץ על הלחצן צור קובץ robots.txt כדי ליצור אחד.

אם אינך רואה אפשרות עבור עורך הקבצים, זה בגלל שהגברת את האבטחה שלך בוורדפרס.אתה יכול להפעיל אפשרויות עריכת קבצים על ידי הסרת השורה הבאה מקובץ wp-config.php.

define('DISALLOW_FILE_EDIT', true);

קובץ Robot.txt הקיים שלך יופיע כ:

סוכן משתמש: *

לא מורשה: /

אם אתה משתמש  כל אחד SEO, בלוח המחווניםלִפְתוֹחַ"מנהל תכונות"עמוד.בפנים, תמצא קובץ בשםrobots.txtאפשרויות ,שֶׁלָהלְהַלָןיש דבר ברור"הַפעָלָה"לחצן כדי לשלוח Robots.txt.

איך אתה מרגיש לגביבוורדפרסערוךrobots.txtיש איזה שהן שאלות?ספר לנו בקטע ההערות למטה!