Robot .txt 是什么？理解WordPress robots.txt文件设定的完整指南

当涉及到您的网站SEO时，Robot.txt是一个功能强大的工具。当您发布帖子时，搜索引擎机器人会在您的网站上进行检索以建立索引。

为了确保您的网站或帖子在搜索引擎结果页面（SERP）中的排名很高，您需要使搜索引擎“机器人”轻松浏览其最重要的页面。结构良好的的robots.txt 文件将有助于将这些漫游器定向到您希望它们索引的页面。

这里的这篇文章说明了SEO的Robots.txt文件的新生，以及如何为WordPress网站创建提交robots txt文件？

WordPress Robot .txt 是什么？

robots.txt文件（也称为漫游器排除协议或标准）允许您拒绝搜索引擎访问某些文件和文件夹。或告诉网络机器人（搜索引擎）您网站上要爬网的页面，帖子。

您的SEO的Robots.txt文件的重要性？

如前所述，您的Robots.txt文件告诉搜索引擎要访问哪些页面，并在您的网站上索引哪些页面不访问。例如，如果您在Robots.txt文件中指定您不希望搜索引擎能够访问您的反馈页面，则该页面将无法显示在搜索结果中，而网络用户则无法能够找到它。对于网站的隐私和SEO而言，阻止搜索引擎访问您网站上的某些页面至关重要。

WordPress中的robots txt在哪里？

此文件通常位于站点的根文件夹中。您可以通过使用FTP客户端连接到您的站点来查看此文件。您也可以使用cPanel文件管理器来做到这一点。

我需要robots.txt文件WordPress吗？

默认情况下，WordPress会设置robots.txt文件，但根本无法从任何目录访问它。但是，如果要对其进行更改，则需要创建自己的文件并将其上传到您的根文件夹中以作为替换。

如何创建robot txt文件？

为您的网站创建robot txt文件非常简单

• 打开记事本，Microsoft Word或任何文本编辑器
• 将文件另存为“机器人”（确保选择.txt作为文件类型扩展名）
• 接下来，将以下两行文本添加到文件中：

用户代理：*
禁止：

“用户代理”是机器人或搜索引擎蜘蛛的另一种说法。星号（*）表示此行适用于所有蜘蛛网。在这里，“禁止”行中没有列出文件或文件夹，这意味着可以访问站点上的每个目录。这是基本的机器人文本文件。

从整个网站阻止搜索引擎蜘蛛也是robots.txt选项之一。为此，请将这两行添加到文件中：

用户代理：*
禁止：/

如果您想阻止网站某些区域的蜘蛛，您的robots.txt可能看起来像这样：

用户代理：*
禁止：/ database /
禁止：/ scripts /

以上三行告诉所有机械手，不允许它们访问数据库和脚本目录或子目录中的任何内容。

注意：请记住，“禁止”行只能使用一个文件或文件夹。您可以根据需要添加任意多个Disallow行。

请确保将搜索引擎友好的XML网站地图文件添加到漫游器文本文件中。这将确保抓取工具可以找到您的站点地图并轻松索引您站点的所有页面。使用以下语法：
站点地图：http://www.mydomain.com/sitemap.xml

完成后，保存robots.txt文件并将其上传到您网站的根目录。

www.mydomain.com/robots.txt。

使用Yoast创建robots.txt文件

像Yoast这样的SEO插件可以选择从WordPress仪表板内部创建和编辑robots.txt文件。

• 安装Yoast SEO并导航到SEO菜单下的“工具”页面。
• 在这里，您可以看到您的网站/博客的robots.txt文件。
• 如果您没有robots.txt文件，请点击创建robots.txt文件按钮来创建一个。

如果没有看到文件编辑器的选项，那是因为您已经加强了WordPress的安全性。您可以通过从wp-config.php文件中删除以下行来启用文件编辑选项。

define（'DISALLOW_FILE_EDIT'，true）;

您现有的Robot.txt文件将显示为：

用户代理： *

不允许： /

如果您正在使用  All in One SEO，请在信息中心中打开“功能管理器”页面。在内部，您会找到一个名为的robots.txt的选项 ，其下方有一个明显的“激活”按钮提交Robots.txt。

您对如何在WordPress中编辑的robots.txt有任何疑问？让我们在下面的评论部分中知道！