Robot .txt 是 什麼？理解WordPress robots.txt文件設定的完整指南

當涉及到您的網站SEO時，Robot.txt是一個功能強大的工具。當您發布帖子時，搜索引擎機器人會在您的網站上進行檢索以建立索引。

為了確保您的網站或帖子在搜索引擎結果頁面（SERP）中的排名很高，您需要使搜索引擎“機器人”輕鬆瀏覽其最重要的頁面。結構良好的robots.txt 文件將有助於將這些漫遊器定向到您希望它們索引的頁面。

這裡的這篇文章說明了SEO的Robots.txt文件的重要性，以及如何為WordPress網站創建提交robots txt文件？

WordPress Robot .txt 是 什麼？

robots.txt文件（也稱為漫遊器排除協議或標準）允許您拒絕搜索引擎訪問某些文件和文件夾。或告訴網絡機器人（搜索引擎）您網站上要爬網的頁面，帖子。

您的SEO的Robots.txt文件的重要性？

如前所述，您的Robots.txt文件告訴搜索引擎要訪問哪些頁面，並在您的網站上索引哪些頁面不訪問。例如，如果您在Robots.txt文件中指定您不希望搜索引擎能夠訪問您的反饋頁面，則該頁面將無法顯示在搜索結果中，而網絡用戶則無法能夠找到它。對於網站的隱私和SEO而言，阻止搜索引擎訪問您網站上的某些頁面至關重要。

WordPress中的robots txt在哪裡？

此文件通常位於站點的根文件夾中。您可以通過使用FTP客戶端連接到您的站點來查看此文件。您也可以使用cPanel文件管理器來做到這一點。

我需要robots.txt文件WordPress嗎？

默認情況下，WordPress會設置robots.txt文件，但根本無法從任何目錄訪問它。但是，如果要對其進行更改，則需要創建自己的文件並將其上傳到您的根文件夾中以作為替換。

如何創建robot txt文件？

為您的網站創建robot txt文件非常簡單

• 打開記事本，Microsoft Word或任何文本編輯器
• 將文件另存為“機器人”（確保選擇.txt作為文件類型擴展名）
• 接下來，將以下兩行文本添加到文件中：

用戶代理：*
禁止：

“用戶代理”是機器人或搜索引擎蜘蛛的另一種說法。星號（*）表示此行適用於所有蜘蛛網。在這裡，“禁止”行中沒有列出文件或文件夾，這意味著可以訪問站點上的每個目錄。這是基本的機器人文本文件。

從整個網站阻止搜索引擎蜘蛛也是robots.txt選項之一。為此，請將這兩行添加到文件中：

用戶代理：*
禁止：/

如果您想阻止網站某些區域的蜘蛛，您的robots.txt可能看起來像這樣：

用戶代理：*
禁止：/ database /
禁止：/ scripts /

以上三行告訴所有機械手，不允許它們訪問數據庫和腳本目錄或子目錄中的任何內容。

注意：請記住，“禁止”行只能使用一個文件或文件夾。您可以根據需要添加任意多個Disallow行。

請確保將搜索引擎友好的XML網站地圖文件添加到漫遊器文本文件中。這將確保抓取工具可以找到您的站點地圖並輕鬆索引您站點的所有頁面。使用以下語法：
站點地圖：http://www.mydomain.com/sitemap.xml

完成後，保存robots.txt文件並將其上傳到您網站的根目錄。

www.mydomain.com/robots.txt。

使用Yoast創建robots.txt文件

像Yoast這樣的SEO插件可以選擇從WordPress儀表板內部創建和編輯robots.txt文件。

• 安裝Yoast SEO並導航到SEO菜單下的“工具”頁面。
• 在這裡，您可以看到您的網站/博客的robots.txt文件。
• 如果您沒有robots.txt文件，請點擊創建robots.txt文件按鈕來創建一個。

如果沒有看到文件編輯器的選項，那是因為您已經加強了WordPress的安全性。您可以通過從wp-config.php文件中刪除以下行來啟用文件編輯選項。

define（’DISALLOW_FILE_EDIT’，true）;

您現有的Robot.txt文件將顯示為：

用戶代理： *

不允許： /

如果您正在使用  All in One SEO，請在信息中心中打開“功能管理器”頁面。在內部，您會找到一個名為Robots.txt的選項 ，其下方有一個明顯的“激活”按鈕提交Robots.txt。

您對如何在WordPress中編輯robots.txt有任何疑問？讓我們在下面的評論部分中知道！