Robot.txt คืออะไรคู่มือฉบับสมบูรณ์เพื่อทำความเข้าใจการตั้งค่าไฟล์ WordPress robots.txt

Robot.txt เป็นเครื่องมือที่ทรงพลังเมื่อพูดถึง SEO เว็บไซต์ของคุณเมื่อคุณเผยแพร่โพสต์ บอทของเครื่องมือค้นหาจะรวบรวมข้อมูลไซต์ของคุณเพื่อจัดทำดัชนี

เพื่อให้แน่ใจว่าเว็บไซต์หรือโพสต์ของคุณมีอันดับสูงในหน้าผลลัพธ์ของเครื่องมือค้นหา (SERPs) คุณต้องทำให้ "บ็อต" ของเครื่องมือค้นหานำทางไปยังหน้าที่สำคัญที่สุดได้ง่ายมีโครงสร้างที่ดีrobots.txt ไฟล์จะช่วยนำบอทเหล่านี้ไปยังหน้าที่คุณต้องการให้สร้างดัชนี

บทความนี้จะอธิบายSEOไฟล์ Robots.txt的ความสำคัญและวิธีการสร้างไฟล์ send robots txt สำหรับไซต์ WordPress?

WordPress Robot .txt คืออะไร

ไฟล์ robots.txt (หรือที่รู้จักในชื่อ Robot Exclusion Protocol หรือ Standard) อนุญาตให้คุณปฏิเสธไม่ให้เสิร์ชเอ็นจิ้นเข้าถึงไฟล์และโฟลเดอร์บางไฟล์ได้หรือบอกเว็บบอท (เครื่องมือค้นหา) ว่าจะรวบรวมข้อมูลหน้าใด โพสต์บนเว็บไซต์ของคุณ

ความสำคัญของไฟล์ Robots.txt สำหรับ SEO ของคุณคืออะไร?

ดังที่ได้กล่าวไว้ก่อนหน้านี้ ไฟล์ Robots.txt ของคุณจะบอกเครื่องมือค้นหาว่าหน้าใดที่ควรเยี่ยมชมและหน้าใดที่ไม่ควรจัดทำดัชนีในเว็บไซต์ของคุณตัวอย่างเช่น หากคุณระบุในไฟล์ Robots.txt ของคุณว่าคุณไม่ต้องการให้เครื่องมือค้นหาสามารถเข้าถึงหน้าคำติชมของคุณ หน้านั้นจะไม่ปรากฏในผลการค้นหาและผู้ใช้เว็บจะไม่พบหน้าดังกล่าวการบล็อกเครื่องมือค้นหาไม่ให้เข้าถึงบางหน้าในไซต์ของคุณมีความสำคัญต่อความเป็นส่วนตัวและ SEO ของเว็บไซต์ของคุณ

หุ่นยนต์ txt ใน WordPress อยู่ที่ไหน

ไฟล์นี้มักจะอยู่ในโฟลเดอร์รูทของไซต์คุณสามารถดูไฟล์นี้ได้โดยเชื่อมต่อกับไซต์ของคุณโดยใช้ไคลเอ็นต์ FTPคุณยังสามารถใช้ตัวจัดการไฟล์ cPanel เพื่อทำสิ่งนี้ได้

ฉันต้องการไฟล์ robots.txt สำหรับ WordPress หรือไม่

ตามค่าเริ่มต้น WordPress จะตั้งค่าไฟล์ robots.txt แต่ไม่สามารถเข้าถึงได้จากไดเรกทอรีใดๆ เลยอย่างไรก็ตาม หากคุณต้องการเปลี่ยน คุณจะต้องสร้างไฟล์ของคุณเองและอัปโหลดไปยังโฟลเดอร์รากของคุณแทน

จะสร้างไฟล์ robot txt ได้อย่างไร?

มันง่ายมากที่จะสร้างไฟล์ robot txt สำหรับเว็บไซต์ของคุณ

• เปิด Notepad, Microsoft Word หรือโปรแกรมแก้ไขข้อความ
• บันทึกไฟล์เป็น "robot" (ตรวจสอบให้แน่ใจว่าได้เลือก .txt เป็นนามสกุลไฟล์)
• ถัดไป เพิ่มข้อความสองบรรทัดต่อไปนี้ลงในไฟล์:

ตัวแทนผู้ใช้: *
ห้าม:

"User-Agent" เป็นอีกคำหนึ่งสำหรับบอทหรือสไปเดอร์ของเครื่องมือค้นหาเครื่องหมายดอกจัน (*) แสดงว่าแถวนี้ใช้กับใยแมงมุมทั้งหมดที่นี่ไม่มีไฟล์หรือโฟลเดอร์อยู่ในบรรทัด "ต้องห้าม" ซึ่งหมายความว่าทุกไดเร็กทอรีในไซต์สามารถเข้าถึงได้นี่คือไฟล์ข้อความพื้นฐานของหุ่นยนต์

การบล็อกสไปเดอร์ของเครื่องมือค้นหาจากทั้งไซต์ก็เป็นหนึ่งในตัวเลือกของ robots.txtเมื่อต้องการทำสิ่งนี้ ให้เพิ่มสองบรรทัดนี้ลงในไฟล์:

ตัวแทนผู้ใช้: *
ห้าม:/

หากคุณต้องการบล็อกสไปเดอร์ในบางพื้นที่ของไซต์ของคุณ robots.txt อาจมีลักษณะดังนี้:

ตัวแทนผู้ใช้: *
ต้องห้าม: /database/
ต้องห้าม: /scripts/

สามบรรทัดข้างต้นบอกโรบ็อตทั้งหมดไม่ให้เข้าถึงสิ่งใดในไดเร็กทอรีฐานข้อมูลและสคริปต์หรือไดเร็กทอรีย่อย

หมายเหตุ: โปรดทราบว่าบรรทัด "forbid" สามารถใช้ไฟล์หรือโฟลเดอร์ได้เพียงไฟล์เดียวเท่านั้นคุณสามารถเพิ่มบรรทัด Disallow ได้มากเท่าที่คุณต้องการ

ตรวจสอบให้แน่ใจว่าได้เพิ่มไฟล์แผนผังเว็บไซต์ XML ที่เป็นมิตรกับ SEO ลงในไฟล์ข้อความของบอทเพื่อให้แน่ใจว่าโปรแกรมรวบรวมข้อมูลสามารถค้นหาแผนผังไซต์ของคุณและจัดทำดัชนีทุกหน้าในไซต์ของคุณได้อย่างง่ายดายใช้ไวยากรณ์ต่อไปนี้:
แผนผังเว็บไซต์: http://www.mydomain.com/sitemap.xml

เมื่อเสร็จแล้ว ให้บันทึกไฟล์ robots.txt และอัปโหลดไปยังไดเร็กทอรีรากของเว็บไซต์ของคุณ

www.mydomain.com/robots.txt

สร้างไฟล์ robots.txt ด้วย Yoast

ปลั๊กอิน SEO เช่น Yoast มีตัวเลือกในการสร้างและแก้ไขไฟล์ robots.txt จากภายในแดชบอร์ดของ WordPress

• ติดตั้ง Yoast SEO และไปที่หน้าเครื่องมือใต้เมนู SEO
• คุณสามารถดูไฟล์ robots.txt สำหรับเว็บไซต์/บล็อกได้ที่นี่
• หากคุณไม่มีไฟล์ robots.txt ให้คลิกปุ่มสร้างไฟล์ robots.txt เพื่อสร้างไฟล์

หากคุณไม่เห็นตัวเลือกสำหรับตัวแก้ไขไฟล์ นั่นเป็นเพราะคุณได้เพิ่มความปลอดภัยให้กับ WordPress ของคุณแล้วคุณสามารถเปิดใช้งานตัวเลือกการแก้ไขไฟล์โดยลบบรรทัดต่อไปนี้ออกจากไฟล์ wp-config.php

กำหนด ('DISALLOW_FILE_EDIT', จริง);

ไฟล์ Robot.txt ที่มีอยู่ของคุณจะปรากฏเป็น:

ตัวแทนผู้ใช้: *

ไม่ได้รับอนุญาต: /

บัญชีผู้ใช้นี้เป็นส่วนตัว  ทั้งหมดในหนึ่ง SEO, ในแดชบอร์ดเปิด"ตัวจัดการคุณสมบัติ"หน้าหนังสือ.ข้างในคุณจะพบไฟล์ชื่อrobots.txtตัวเลือก , มันด้านล่างมีความชัดเจน "การเปิดใช้งาน"ปุ่มเพื่อส่ง Robots.txt

คุณรู้สึกยังไงกับใน WordPressแก้ไขrobots.txtมีคำถาม?แจ้งให้เราทราบในส่วนความคิดเห็นด้านล่าง!