¿Qué es Robot .txt?Una guía completa para comprender la configuración del archivo robots.txt de WordPress

Cuando se trata de SEO para su sitio web, Robot.txt es una herramienta poderosa.Cuando publicas una publicación, los robots de los motores de búsqueda buscarán indexación en tu sitio web.

Para asegurarse de que su sitio web o publicación ocupe un lugar destacado en las páginas de resultados de los motores de búsqueda (SERP), debe hacer que los "bots" de los motores de búsqueda naveguen fácilmente por sus páginas más importantes.Bien estructuradorobots.txt El archivo ayudará a dirigir estos bots a la página que desea que indexen.

Este artículo aquí explicaSEOArchivo robots.txt的importancia, ¿Y cómo crear y enviar archivos txt de robots para el sitio web de WordPress?

¿Qué es WordPress Robot .txt?

El archivo robots.txt (también conocido como Protocolo o Estándar de Exclusión de Robots) le permite denegar el acceso de los motores de búsqueda a ciertos archivos y carpetas.O dígale a los robots web (motores de búsqueda) qué páginas y publicaciones deben rastrear en su sitio web.

¿La importancia de su archivo SEO Robots.txt?

Como se mencionó anteriormente, su archivo Robots.txt le dice a los motores de búsqueda qué páginas visitar y qué páginas indexar en su sitio web no visitar.Por ejemplo, si especifica en el archivo Robots.txt que no desea que los motores de búsqueda puedan acceder a su página de comentarios, la página no se mostrará en los resultados de búsqueda y los usuarios de la red no podrán encontrarla.Para la privacidad y el SEO del sitio web, es importante evitar que los motores de búsqueda accedan a determinadas páginas de su sitio web.

¿Dónde está el txt de robots en WordPress?

Este archivo generalmente se encuentra en la carpeta raíz del sitio.Puede ver este archivo conectándose a su sitio mediante un cliente FTP.También puede usar el administrador de archivos cPanel para hacer esto.

¿Necesito el archivo robots.txt de WordPress?

De forma predeterminada, WordPress establece el archivo robots.txt, pero no se puede acceder a él desde ningún directorio.Sin embargo, si desea cambiarlo, debe crear su propio archivo y cargarlo en su carpeta raíz como reemplazo.

¿Cómo crear un archivo txt de robot?

Crear un archivo txt de robot para su sitio web es muy fácil

• Abra el Bloc de notas, Microsoft Word o cualquier editor de texto
• Guarde el archivo como un "robot" (asegúrese de seleccionar .txt como la extensión del tipo de archivo)
• A continuación, agregue las siguientes dos líneas de texto al archivo:

Agente de usuario:*
prohibir:

"Agente de usuario" es otro término para robots o arañas de motores de búsqueda.Un asterisco (*) significa que esta línea se aplica a todas las telarañas.Aquí, no se enumeran archivos o carpetas en la línea "Prohibido", lo que significa que se puede acceder a todos los directorios del sitio.Este es el archivo de texto básico del robot.

Bloquear las arañas de los motores de búsqueda de todo el sitio web también es una de las opciones de robots.txt.Para hacer esto, agregue estas dos líneas al archivo:

Agente de usuario:*
prohibir:/

Si desea bloquear arañas en ciertas áreas de su sitio web, su archivo robots.txt podría verse así:

Agente de usuario:*
Prohibido: / base de datos /
Prohibido: / scripts /

Las tres líneas anteriores le dicen a todos los robots que no pueden acceder a ningún contenido en los directorios o subdirectorios de la base de datos y del script.

Nota: recuerde que solo se puede usar un archivo o carpeta en la línea "Prohibido".Puede agregar tantas filas de No permitir como desee.

Asegúrese de agregar el archivo de mapa del sitio XML compatible con los motores de búsqueda al archivo de texto del robot.Esto asegurará que los rastreadores puedan encontrar su mapa del sitio e indexar fácilmente todas las páginas de su sitio.Utilice la siguiente sintaxis:
Mapa del sitio: http://www.mydomain.com/sitemap.xml

Cuando termine, guarde el archivo robots.txt y cárguelo en el directorio raíz de su sitio web.

www.mydomain.com/robots.txt.

Utilice Yoast para crear un archivo robots.txt

Los complementos de SEO como Yoast pueden optar por crear y editar archivos robots.txt desde el panel de WordPress.

• Instale Yoast SEO y navegue hasta la página "Herramientas" en el menú de SEO.
• Aquí puede ver el archivo robots.txt de su sitio web / blog.
• Si no tiene un archivo robots.txt, haga clic en el botón Crear archivo robots.txt para crear uno.

Si no ve la opción del editor de archivos es porque ha reforzado la seguridad de WordPress.Puede habilitar la opción de edición de archivos eliminando la siguiente línea del archivo wp-config.php.

define ('DISALLOW_FILE_EDIT', verdadero);

Su archivo Robot.txt existente aparecerá como:

Agente de usuario: *

No permitido: /

Si esta usando  All in One SEO, Por favor en el centro de informaciónAbierto"Administrador de funciones "página.En el interior, encontrará un archivo llamadorobots.txtOpciones ,susDebajoHay un obvio "activación"Botón para enviar Robots.txt.

CómoEn WordPressEditarrobots.txttienes alguna duda?¡Háganos saber en la sección de comentarios!