Robot .txt là gì?Hướng dẫn đầy đủ để hiểu cài đặt tệp robots.txt của WordPress

Khi nói đến SEO cho trang web của bạn, Robot.txt là một công cụ mạnh mẽ.Khi bạn xuất bản một bài đăng, rô bốt công cụ tìm kiếm sẽ tìm kiếm trang web của bạn để lập chỉ mục.

Để đảm bảo rằng trang web hoặc bài đăng của bạn xếp hạng cao trong các trang kết quả của công cụ tìm kiếm (SERP), bạn cần làm cho các "bot" của công cụ tìm kiếm dễ dàng duyệt qua các trang quan trọng nhất của nó.Có cấu trúc tốtrobots.txt Tệp sẽ giúp hướng các bot này đến trang mà bạn muốn chúng lập chỉ mục.

Bài viết này ở đây giải thíchSEOTệp Robots.txtCủaTầm quan trọngVà làm cách nào để tạo và gửi tệp txt robots cho trang web WordPress?

WordPress Robot .txt là gì?

Tệp robots.txt (còn được gọi là tiêu chuẩn hoặc giao thức loại trừ rô bốt) cho phép bạn từ chối các công cụ tìm kiếm truy cập vào các tệp và thư mục nhất định.Hoặc cho rô bốt web (công cụ tìm kiếm) thu thập dữ liệu các trang và bài đăng nào trên trang web của bạn.

Tầm quan trọng của tệp SEO Robots.txt của bạn?

Như đã đề cập trước đó, tệp Robots.txt của bạn cho các công cụ tìm kiếm biết những trang nào nên truy cập và những trang nào để lập chỉ mục trên trang web của bạn không nên truy cập.Ví dụ: nếu bạn chỉ định trong tệp Robots.txt rằng bạn không muốn các công cụ tìm kiếm có thể truy cập trang phản hồi của mình, trang sẽ không được hiển thị trong kết quả tìm kiếm và người dùng mạng sẽ không thể tìm thấy nó.Đối với quyền riêng tư của trang web và SEO, điều quan trọng là phải ngăn các công cụ tìm kiếm truy cập các trang nhất định trên trang web của bạn.

Txt rô bốt trong WordPress ở đâu?

Tập tin này thường nằm trong thư mục gốc của trang web.Bạn có thể xem tệp này bằng cách kết nối với trang web của mình bằng ứng dụng khách FTP.Bạn cũng có thể sử dụng trình quản lý tệp cPanel để thực hiện việc này.

Tôi có cần tệp robots.txt WordPress không?

Theo mặc định, WordPress đặt tệp robots.txt, nhưng nó không thể được truy cập từ bất kỳ thư mục nào.Tuy nhiên, nếu bạn muốn thay đổi nó, bạn cần tạo tệp của riêng mình và tải tệp đó lên thư mục gốc để thay thế.

Làm cách nào để tạo tệp txt rô bốt?

Tạo tệp txt rô bốt cho trang web của bạn rất dễ dàng

• Mở Notepad, Microsoft Word hoặc bất kỳ trình soạn thảo văn bản nào
• Lưu tệp dưới dạng "rô-bốt" (đảm bảo chọn .txt làm phần mở rộng của loại tệp)
• Tiếp theo, thêm hai dòng văn bản sau vào tệp:

Đại lý người dùng:*
cấm:

"Tác nhân người dùng" là một thuật ngữ khác của rô bốt hoặc trình thu thập thông tin công cụ tìm kiếm.Dấu hoa thị (*) có nghĩa là dòng này áp dụng cho tất cả các mạng nhện.Ở đây, không có tệp hoặc thư mục nào được liệt kê trong dòng "Cấm", có nghĩa là mọi thư mục trên trang web đều có thể được truy cập.Đây là tệp văn bản rô bốt cơ bản.

Chặn trình thu thập thông tin công cụ tìm kiếm khỏi toàn bộ trang web cũng là một trong những tùy chọn robots.txt.Để thực hiện việc này, hãy thêm hai dòng sau vào tệp:

Đại lý người dùng:*
cấm:/

Nếu bạn muốn chặn các trình thu thập dữ liệu trong các khu vực nhất định trên trang web của mình, tệp robots.txt của bạn có thể trông giống như sau:

Đại lý người dùng:*
Bị cấm: / database /
Bị cấm: / scripts /

Ba dòng trên cho tất cả các rô bốt biết rằng chúng không được phép truy cập bất kỳ nội dung nào trong cơ sở dữ liệu và các thư mục tập lệnh hoặc thư mục con.

Lưu ý: Hãy nhớ rằng chỉ có thể sử dụng một tệp hoặc thư mục trong dòng "Cấm".Bạn có thể thêm nhiều hàng Không cho phép nếu cần.

Đảm bảo thêm tệp sơ đồ trang XML thân thiện với công cụ tìm kiếm vào tệp văn bản rô bốt.Điều này sẽ đảm bảo rằng trình thu thập thông tin có thể tìm thấy sơ đồ trang web của bạn và dễ dàng lập chỉ mục tất cả các trang trên trang web của bạn.Sử dụng cú pháp sau:
Sơ đồ trang web: http://www.mydomain.com/sitemap.xml

Khi hoàn tất, hãy lưu tệp robots.txt và tải tệp đó lên thư mục gốc của trang web của bạn.

www.mydomain.com/robots.txt.

Sử dụng Yoast để tạo tệp robots.txt

Các plugin SEO như Yoast có thể chọn tạo và chỉnh sửa các tệp robots.txt từ trong bảng điều khiển WordPress.

• Cài đặt Yoast SEO và điều hướng đến trang "Công cụ" trong menu SEO.
• Tại đây, bạn có thể thấy tệp robots.txt của trang web / blog của mình.
• Nếu bạn không có tệp robots.txt, vui lòng nhấp vào nút Tạo tệp robots.txt để tạo tệp.

Nếu bạn không thấy tùy chọn của trình chỉnh sửa tệp, đó là do bạn đã tăng cường bảo mật cho WordPress.Bạn có thể bật tùy chọn chỉnh sửa tệp bằng cách xóa dòng sau khỏi tệp wp-config.php.

xác định ('DISALLOW_FILE_EDIT', true);

Tệp Robot.txt hiện có của bạn sẽ xuất hiện dưới dạng:

Đại lý người dùng: *

Không cho phép: /

Nếu bạn đang sử dụng  Tất cả trong một SEO, Vui lòng vào trung tâm thông tinMở ra"Trình quản lý chức năng "trang.Bên trong, bạn sẽ tìm thấy một tệp có tênrobots.txtTùy chọn ,nó làPhía dướiCó một điều hiển nhiên "kích hoạt "Nút để gửi Robots.txt.

Bạn khỏe khôngTrong WordPressChỉnh sửarobots.txtcó bất kỳ nghi ngờ?Cho chúng tôi biết trong phần ý kiến ​​dưới đây!