Qu'est-ce que Robot .txt ?Un guide complet pour comprendre les paramètres du fichier robots.txt de WordPress

En ce qui concerne le référencement de votre site Web, Robot.txt est un outil puissant.Lorsque vous publiez un article, les robots des moteurs de recherche recherchent l'indexation de votre site Web.

Afin de vous assurer que votre site Web ou votre publication se classe bien dans les pages de résultats des moteurs de recherche (SERP), vous devez faire en sorte que les « bots » des moteurs de recherche parcourent facilement ses pages les plus importantes.Bien structurérobots.txt Le fichier aidera à diriger ces robots vers la page que vous souhaitez qu'ils indexent.

Cet article explique iciSEOFichier robots.txt的Importance, Et comment créer et soumettre un fichier txt de robots pour le site Web WordPress ?

Qu'est-ce que WordPress Robot .txt ?

Le fichier robots.txt (également appelé protocole ou norme d'exclusion des robots) vous permet de refuser aux moteurs de recherche l'accès à certains fichiers et dossiers.Ou indiquez aux robots Web (moteurs de recherche) les pages et les publications à explorer sur votre site Web.

L'importance de votre fichier SEO Robots.txt ?

Comme mentionné précédemment, votre fichier Robots.txt indique aux moteurs de recherche quelles pages visiter et quelles pages indexer sur votre site Web ne pas visiter.Par exemple, si vous spécifiez dans le fichier Robots.txt que vous ne voulez pas que les moteurs de recherche puissent accéder à votre page de commentaires, la page ne sera pas affichée dans les résultats de la recherche et les utilisateurs du réseau ne pourront pas la trouver.Pour la confidentialité et le référencement du site Web, il est important d'empêcher les moteurs de recherche d'accéder à certaines pages de votre site Web.

Où est le txt des robots dans WordPress ?

Ce fichier se trouve généralement dans le dossier racine du site.Vous pouvez visualiser ce fichier en vous connectant à votre site à l'aide d'un client FTP.Vous pouvez également utiliser le gestionnaire de fichiers cPanel pour ce faire.

Ai-je besoin du fichier robots.txt WordPress ?

Par défaut, WordPress définit le fichier robots.txt, mais il n'est accessible à partir d'aucun répertoire.Cependant, si vous souhaitez le modifier, vous devez créer votre propre fichier et le télécharger dans votre dossier racine en remplacement.

Comment créer un fichier txt de robot ?

Créer un fichier txt robot pour votre site web est très simple

• Ouvrez le Bloc-notes, Microsoft Word ou n'importe quel éditeur de texte
• Enregistrez le fichier en tant que "robot" (assurez-vous de sélectionner .txt comme extension de type de fichier)
• Ensuite, ajoutez les deux lignes de texte suivantes au fichier :

Agent utilisateur:*
interdire:

« agent utilisateur » est un autre terme pour les robots ou les robots des moteurs de recherche.Un astérisque (*) signifie que cette ligne s'applique à toutes les toiles d'araignées.Ici, aucun fichier ou dossier n'est répertorié dans la ligne « Interdit », ce qui signifie que tous les répertoires du site sont accessibles.Il s'agit du fichier texte de base du robot.

Le blocage des robots des moteurs de recherche de l'ensemble du site Web est également l'une des options du fichier robots.txt.Pour ce faire, ajoutez ces deux lignes au fichier :

Agent utilisateur:*
interdire:/

Si vous souhaitez bloquer les araignées dans certaines zones de votre site Web, votre fichier robots.txt peut ressembler à ceci :

Agent utilisateur:*
Interdit : /base de données/
Interdit : /scripts/

Les trois lignes ci-dessus indiquent à tous les robots qu'ils ne sont pas autorisés à accéder au contenu de la base de données et des répertoires ou sous-répertoires de script.

Remarque : N'oubliez pas qu'un seul fichier ou dossier peut être utilisé dans la ligne « Interdit ».Vous pouvez ajouter autant de lignes d'interdiction que vous le souhaitez.

Assurez-vous d'ajouter le fichier de plan de site XML convivial pour les moteurs de recherche au fichier texte du robot.Cela garantira que les robots peuvent trouver votre plan de site et indexer facilement toutes les pages de votre site.Utilisez la syntaxe suivante :
Plan du site : http://www.mondomaine.com/sitemap.xml

Lorsque vous avez terminé, enregistrez le fichier robots.txt et téléchargez-le dans le répertoire racine de votre site Web.

www.mondomaine.com/robots.txt.

Utilisez Yoast pour créer un fichier robots.txt

Les plugins de référencement comme Yoast peuvent choisir de créer et de modifier des fichiers robots.txt à partir du tableau de bord WordPress.

• Installez Yoast SEO et accédez à la page "Outils" dans le menu SEO.
• Ici, vous pouvez voir le fichier robots.txt de votre site/blog.
• Si vous n'avez pas de fichier robots.txt, veuillez cliquer sur le bouton Créer un fichier robots.txt pour en créer un.

Si vous ne voyez pas l'option de l'éditeur de fichiers, c'est que vous avez renforcé la sécurité de WordPress.Vous pouvez activer l'option d'édition de fichier en supprimant la ligne suivante du fichier wp-config.php.

define('DISALLOW_FILE_EDIT', true);

Votre fichier Robot.txt existant apparaîtra comme :

Agent utilisateur: *

Interdit: /

Si vous utilisez  All in One SEO, S'il vous plaît dans le centre d'informationOuvert"Gestionnaire de fonction"page.A l'intérieur, vous trouverez un fichier appeléRobots.txtOptions ,sesAu dessous deIl y a une évidence "Activation"Bouton pour soumettre Robots.txt.

Comment tuDans WordPressModifierrobots.txtavoir un doute?Faites-nous savoir dans la section commentaires ci-dessous!