Temas de WordPress - Robots.txt para WordPress: Qué es, para qué sirve y cómo crearlo

Cuando un buscador como Google llega a un sitio web, intenta rastrear el toda la información posible para después indexar en sus listados de resultados todas las páginas que encuentre. No obstante, a veces queremos que algunas secciones y páginas se mantengan al margen y no sean indexadas. Aquí es dónde entra en juego el archivo robots.txt.

También llamado archivo de exclusión de robots, el archivo robots.txt de una web nos permite darle una serie de indicaciones a los buscadores para que no rastreen ni indexen ciertas partes de nuestra página.

Por su importancia, y porque es una poderosa herramienta para mejorar el SEO, hoy veremos qué es el archivo robots.txt, para qué sirve exactamente, cuáles son las principales instrucciones que podemos darles a los buscadores, y cómo crear un robots.txt para WordPress y para cualquier tipo de web.

Además, te también te daré un ejemplo de robots.txt para WordPress y te explicaré qué diferencia hay entre utilizar este archivo y la etiqueta Meta Robots.

Índice de Contenidos:
1.- ¿Qué es el archivo robots.txt y para qué sirve?
2.- Comandos principales que puedes utilizar en tu archivo robots.txt
Ejemplos y casos en los que utilizar los diferentes comandos
3.- Cómo generar un archivo robots.txt
Cómo crear un archivo robots.txt en WordPress
Cómo crear un archivo robots.txt en cualquier otro tipo de web
4.- Ejemplo de robots.txt para WordPress
5.- Diferencias entre Robots.txt y etiqueta Meta Robots
6.- ¿Tienes alguna duda?