Was ist Robot.txt?Eine vollständige Anleitung zum Verständnis der WordPress-robots.txt-Dateieinstellungen

Wenn es um SEO für Ihre Website geht, ist Robot.txt ein leistungsstarkes Werkzeug.Wenn Sie einen Beitrag veröffentlichen, durchsuchen Suchmaschinen-Robots Ihre Website nach Indizierung.

Um sicherzustellen, dass Ihre Website oder Ihr Beitrag auf den Suchergebnisseiten (SERP) einen hohen Rang einnimmt, müssen Sie Suchmaschinen-"Bots" dazu bringen, die wichtigsten Seiten leicht zu durchsuchen.Gut strukturiertrobots.txt Die Datei hilft dabei, diese Bots auf die Seite zu leiten, die sie indizieren möchten.

Dieser Artikel hier erklärtSEORobots.txt-Datei的Bedeutung, Und wie erstelle und sende ich eine Robots-txt-Datei für die WordPress-Website?

Was ist WordPress Robot .txt?

Die Datei robots.txt (auch bekannt als Robots Exclusion Protocol oder Standard) ermöglicht es Ihnen, Suchmaschinen den Zugriff auf bestimmte Dateien und Ordner zu verweigern.Oder teilen Sie Web-Robots (Suchmaschinen) mit, welche Seiten und Beiträge auf Ihrer Website gecrawlt werden sollen.

Die Bedeutung Ihrer SEO Robots.txt-Datei?

Wie bereits erwähnt, teilt Ihre Robots.txt-Datei den Suchmaschinen mit, welche Seiten auf Ihrer Website besucht und welche Seiten auf Ihrer Website nicht besucht werden sollen.Wenn Sie beispielsweise in der Datei Robots.txt angeben, dass Suchmaschinen nicht auf Ihre Feedback-Seite zugreifen können sollen, wird die Seite nicht in den Suchergebnissen angezeigt und Netzwerkbenutzer können sie nicht finden.Für den Datenschutz und die SEO von Websites ist es wichtig zu verhindern, dass Suchmaschinen auf bestimmte Seiten Ihrer Website zugreifen.

Wo ist die Robots-txt in WordPress?

Diese Datei befindet sich normalerweise im Stammordner der Site.Sie können diese Datei anzeigen, indem Sie sich über einen FTP-Client mit Ihrer Site verbinden.Sie können dazu auch den cPanel-Dateimanager verwenden.

Brauche ich die robots.txt-Datei WordPress?

Standardmäßig legt WordPress die Datei robots.txt fest, auf die jedoch von keinem Verzeichnis aus zugegriffen werden kann.Wenn Sie es jedoch ändern möchten, müssen Sie eine eigene Datei erstellen und als Ersatz in Ihren Stammordner hochladen.

Wie erstelle ich eine Robot-txt-Datei?

Das Erstellen einer Robot-txt-Datei für Ihre Website ist sehr einfach

• Öffnen Sie Notepad, Microsoft Word oder einen beliebigen Texteditor
• Speichern Sie die Datei als "Roboter" (achten Sie darauf, dass Sie .txt als Dateityperweiterung auswählen)
• Fügen Sie als Nächstes die folgenden zwei Textzeilen zur Datei hinzu:

User-Agent:*
verbieten:

„User Agent“ ist ein anderer Begriff für Roboter oder Suchmaschinen-Spider.Ein Sternchen (*) bedeutet, dass diese Zeile für alle Spinnennetze gilt.Hier werden in der Zeile "Forbidden" keine Dateien oder Ordner aufgelistet, was bedeutet, dass auf jedes Verzeichnis der Site zugegriffen werden kann.Dies ist die grundlegende Robotertextdatei.

Das Blockieren von Suchmaschinen-Spidern von der gesamten Website ist auch eine der robots.txt-Optionen.Fügen Sie dazu diese beiden Zeilen in die Datei ein:

User-Agent:*
verbieten:/

Wenn Sie Spider in bestimmten Bereichen Ihrer Website blockieren möchten, könnte Ihre robots.txt so aussehen:

User-Agent:*
Verboten: /Datenbank/
Verboten: /Skripte/

Die obigen drei Zeilen teilen allen Robots mit, dass sie auf keinen Inhalt in den Datenbank- und Skriptverzeichnissen oder Unterverzeichnissen zugreifen dürfen.

Hinweis: Bitte beachten Sie, dass in der Zeile "Forbidden" nur eine Datei oder ein Ordner verwendet werden kann.Sie können beliebig viele Disallow-Zeilen hinzufügen.

Stellen Sie sicher, dass Sie die suchmaschinenfreundliche XML-Sitemap-Datei zur Robot-Textdatei hinzufügen.Dadurch wird sichergestellt, dass Crawler Ihre Sitemap finden und alle Seiten Ihrer Website problemlos indizieren können.Verwenden Sie die folgende Syntax:
Sitemap: http://www.mydomain.com/sitemap.xml

Wenn Sie fertig sind, speichern Sie die Datei robots.txt und laden Sie sie in das Stammverzeichnis Ihrer Website hoch.

www.mydomain.com/robots.txt.

Verwenden Sie Yoast, um die robots.txt-Datei zu erstellen

SEO-Plugins wie Yoast können robots.txt-Dateien im WordPress-Dashboard erstellen und bearbeiten.

• Installieren Sie Yoast SEO und navigieren Sie zur Seite "Tools" im SEO-Menü.
• Hier sehen Sie die robots.txt-Datei Ihrer Website/Ihres Blogs.
• Wenn Sie keine robots.txt-Datei haben, klicken Sie bitte auf die Schaltfläche robots.txt-Datei erstellen, um eine zu erstellen.

Wenn Sie die Option des Dateieditors nicht sehen, liegt dies daran, dass Sie die Sicherheit von WordPress verstärkt haben.Sie können die Dateibearbeitungsoption aktivieren, indem Sie die folgende Zeile aus der Datei wp-config.php löschen.

define('DISALLOW_FILE_EDIT', true);

Ihre vorhandene Robot.txt-Datei wird wie folgt angezeigt:

User-Agent: *

Nicht erlaubt: /

Wenn Sie verwenden  All in One SEO, Bitte im InformationszentrumOffen"Funktionsmanager"Seite.Darin finden Sie eine Datei namensRobots.txtOptionen ,es istUnterEs gibt eine offensichtliche "Aktivierung"Schaltfläche zum Senden von Robots.txt.

Wie geht es dir?In WordPressBearbeitenrobots.txtZweifel haben?Lass es uns im Kommentarbereich unten wissen!