O que é Robot .txt?Um guia completo para entender as configurações do arquivo robots.txt do WordPress

Quando se trata de SEO para seu site, Robot.txt é uma ferramenta poderosa.Quando você publica uma postagem, os robôs dos mecanismos de pesquisa pesquisam seu site para indexação.

Para garantir que seu site ou postagem tenha uma boa classificação nas páginas de resultados de mecanismos de pesquisa (SERP), você precisa fazer com que os "bots" dos mecanismos de pesquisa naveguem facilmente em suas páginas mais importantes.Bem estruturadorobots.txt O arquivo ajudará a direcionar esses bots para a página que você deseja que eles indexem.

Este artigo aqui explicaSEOArquivo Robots.txt的Importância, E como criar e enviar arquivos txt de robôs para o site WordPress?

O que é WordPress Robot .txt?

O arquivo robots.txt (também conhecido como protocolo ou padrão de exclusão de robôs) permite que você negue o acesso dos mecanismos de pesquisa a determinados arquivos e pastas.Ou diga aos robôs da web (mecanismos de pesquisa) quais páginas e postagens devem rastrear em seu site.

A importância do seu arquivo SEO Robots.txt?

Conforme mencionado anteriormente, o arquivo Robots.txt informa aos mecanismos de pesquisa quais páginas devem ser visitadas e quais páginas devem ser indexadas em seu site da Web que não devem ser visitadas.Por exemplo, se você especificar no arquivo Robots.txt que não deseja que os mecanismos de pesquisa acessem sua página de feedback, a página não será exibida nos resultados da pesquisa e os usuários da rede não poderão localizá-la.Para privacidade do site e SEO, é importante evitar que os mecanismos de pesquisa acessem certas páginas do seu site.

Onde está o txt dos robôs no WordPress?

Esse arquivo geralmente está localizado na pasta raiz do site.Você pode visualizar este arquivo conectando-se ao seu site usando um cliente FTP.Você também pode usar o gerenciador de arquivos cPanel para fazer isso.

Eu preciso do arquivo robots.txt do WordPress?

Por padrão, o WordPress define o arquivo robots.txt, mas ele não pode ser acessado de nenhum diretório.No entanto, se quiser alterá-lo, você precisará criar seu próprio arquivo e carregá-lo em sua pasta raiz como um substituto.

Como criar um arquivo txt de robô?

Criar um arquivo txt de robô para o seu site é muito fácil

• Abra o Notepad, Microsoft Word ou qualquer editor de texto
• Salve o arquivo como um "robô" (certifique-se de selecionar .txt como a extensão do tipo de arquivo)
• Em seguida, adicione as seguintes duas linhas de texto ao arquivo:

Agente de usuário:*
proibir:

"Agente do usuário" é outro termo para robôs ou spiders de mecanismos de pesquisa.Um asterisco (*) significa que esta linha se aplica a todas as teias de aranha.Aqui, nenhum arquivo ou pasta está listado na linha "Proibido", o que significa que todos os diretórios do site podem ser acessados.Este é o arquivo de texto básico do robô.

Bloquear spiders do mecanismo de pesquisa de todo o site também é uma das opções do robots.txt.Para fazer isso, adicione estas duas linhas ao arquivo:

Agente de usuário:*
proibir:/

Se você deseja bloquear spiders em certas áreas do seu site, seu robots.txt pode ter a seguinte aparência:

Agente de usuário:*
Proibido: / banco de dados /
Proibido: / scripts /

As três linhas acima informam a todos os robôs que eles não têm permissão para acessar qualquer conteúdo no banco de dados e diretórios ou subdiretórios de script.

Nota: Lembre-se de que apenas um arquivo ou pasta pode ser usado na linha "Proibido".Você pode adicionar quantas linhas Disallow forem necessárias.

Certifique-se de adicionar o arquivo de mapa do site XML amigável do mecanismo de pesquisa ao arquivo de texto do robô.Isso garantirá que os rastreadores possam encontrar o mapa do seu site e indexar facilmente todas as páginas do seu site.Use a seguinte sintaxe:
Mapa do site: http://www.mydomain.com/sitemap.xml

Quando terminar, salve o arquivo robots.txt e carregue-o no diretório raiz do seu site.

www.mydomain.com/robots.txt.

Use o Yoast para criar o arquivo robots.txt

Plug-ins de SEO como Yoast podem escolher criar e editar arquivos robots.txt de dentro do painel do WordPress.

• Instale o Yoast SEO e navegue até a página "Ferramentas" no menu SEO.
• Aqui você pode ver o arquivo robots.txt do seu site / blog.
• Se você não tiver um arquivo robots.txt, clique no botão Criar arquivo robots.txt para criar um.

Se você não vê a opção do editor de arquivos, é porque reforçou a segurança do WordPress.Você pode habilitar a opção de edição de arquivo excluindo a seguinte linha do arquivo wp-config.php.

define ('DISALLOW_FILE_EDIT', verdadeiro);

Seu arquivo Robot.txt existente aparecerá como:

Agente de usuário: *

Não permitido: /

Se você estiver usando  All in One SEO, Por favor, no centro de informaçõesAberto"Gerente de Função "página.Dentro, você encontrará um arquivo chamadoRobots.txtOpções ,EstáAbaixoExiste um óbvio "ativação"Botão para enviar Robots.txt.

Como vocêEm WordPressEditarrobots.txttenha alguma dúvida?Deixe-nos saber na seção de comentários abaixo!