Wat is Robot .txt?Een complete gids voor het begrijpen van WordPress robots.txt-bestandsinstellingen

Als het gaat om SEO voor uw website, is Robot.txt een krachtig hulpmiddel.Wanneer u een bericht publiceert, zullen zoekmachinerobots uw website doorzoeken op indexering.

Om ervoor te zorgen dat uw website of bericht hoog scoort op de pagina's met zoekresultaten van zoekmachines (SERP), moet u ervoor zorgen dat "bots" van zoekmachines gemakkelijk door de belangrijkste pagina's kunnen bladeren.Goed gestructureerdrobots.txt Het bestand helpt deze bots naar de pagina te leiden die u wilt dat ze indexeren.

Dit artikel hier legt uit:SEORobots.txt-bestand的belang, En hoe maak en verzend je robots txt-bestand voor WordPress-website?

Wat is WordPress Robot .txt?

Met het robots.txt-bestand (ook bekend als het robots-exclusieprotocol of -standaard) kunt u zoekmachines de toegang tot bepaalde bestanden en mappen ontzeggen.Of vertel webrobots (zoekmachines) welke pagina's en berichten op uw website moeten worden gecrawld.

Het belang van uw SEO Robots.txt-bestand?

Zoals eerder vermeld, vertelt uw Robots.txt-bestand zoekmachines welke pagina's ze moeten bezoeken en welke pagina's ze op uw website niet moeten bezoeken.Als u bijvoorbeeld in het bestand Robots.txt opgeeft dat u niet wilt dat zoekmachines toegang hebben tot uw feedbackpagina, wordt de pagina niet weergegeven in de zoekresultaten en kunnen netwerkgebruikers deze niet vinden.Voor websiteprivacy en SEO is het belangrijk om te voorkomen dat zoekmachines bepaalde pagina's op uw website bezoeken.

Waar is de robots-txt in WordPress?

Dit bestand bevindt zich meestal in de hoofdmap van de site.U kunt dit bestand bekijken door verbinding te maken met uw site via een FTP-client.U kunt hiervoor ook de cPanel bestandsbeheerder gebruiken.

Heb ik het robots.txt-bestand WordPress nodig?

WordPress stelt standaard het robots.txt-bestand in, maar het kan vanuit geen enkele map worden geopend.Als u het echter wilt wijzigen, moet u uw eigen bestand maken en het ter vervanging uploaden naar uw hoofdmap.

Hoe maak je een robot txt-bestand aan?

Een robot txt-bestand voor uw website maken is heel eenvoudig

• Open Kladblok, Microsoft Word of een andere teksteditor
• Sla het bestand op als een "robot" (zorg ervoor dat u .txt selecteert als bestandsextensie)
• Voeg vervolgens de volgende twee regels tekst toe aan het bestand:

Gebruikersagent:*
verbieden:

"User agent" is een andere term voor robots of spiders van zoekmachines.Een asterisk (*) betekent dat deze regel van toepassing is op alle spinnenwebben.Hier worden geen bestanden of mappen vermeld in de regel "Verboden", wat betekent dat elke map op de site toegankelijk is.Dit is het basistekstbestand voor robots.

Het blokkeren van spiders van zoekmachines voor de hele website is ook een van de robots.txt-opties.Voeg hiervoor deze twee regels toe aan het bestand:

Gebruikersagent:*
verbieden:/

Als u spiders in bepaalde delen van uw website wilt blokkeren, kan uw robots.txt er als volgt uitzien:

Gebruikersagent:*
Verboden: /database/
Verboden: /scripts/

De bovenstaande drie regels vertellen alle robots dat ze geen toegang hebben tot inhoud in de database en scriptdirectories of subdirectories.

Opmerking: houd er rekening mee dat er slechts één bestand of map kan worden gebruikt in de regel "Verboden".U kunt zoveel Disallow-rijen toevoegen als u wilt.

Zorg ervoor dat u het zoekmachinevriendelijke XML-sitemapbestand toevoegt aan het robottekstbestand.Dit zorgt ervoor dat crawlers uw sitemap kunnen vinden en gemakkelijk alle pagina's van uw site kunnen indexeren.Gebruik de volgende syntaxis:
Sitemap: http://www.mijndomein.com/sitemap.xml

Als u klaar bent, slaat u het robots.txt-bestand op en uploadt u het naar de hoofdmap van uw website.

www.mijndomein.com/robots.txt.

Gebruik Yoast om het robots.txt-bestand te maken

SEO-plug-ins zoals Yoast kunnen ervoor kiezen om robots.txt-bestanden te maken en te bewerken vanuit het WordPress-dashboard.

• Installeer Yoast SEO en ga naar de pagina "Tools" onder het SEO-menu.
• Hier ziet u het robots.txt-bestand van uw website/blog.
• Als je geen robots.txt-bestand hebt, klik dan op de knop Create robots.txt-bestand om er een te maken.

Als u de optie van de bestandseditor niet ziet, komt dat omdat u de beveiliging van WordPress hebt versterkt.U kunt de optie voor het bewerken van bestanden inschakelen door de volgende regel uit het bestand wp-config.php te verwijderen.

definiëren('DISALLOW_FILE_EDIT', true);

Uw bestaande Robot.txt-bestand zal verschijnen als:

Gebruikersagent: *

Niet toegestaan: /

Als u gebruik maakt van  All in One SEO, Graag in het informatiecentrumOpen"Functiemanager"bladzijde.Binnenin vind je een bestand genaamdrobots.txtOpties ,haarOnderstaandEr is een duidelijke "activering"Knop om Robots.txt in te dienen.

Hoe doe jeIn WordPressuitgevenrobots.txt有 任何 疑問?Laat het ons weten in de comments hieronder!