Mostrar los tags: robots.txt

Robots.txt es un archivo de texto con instrucciones para los robots de los motores de búsqueda que les indica qué páginas pueden y no pueden rastrear.

Estas instrucciones se especifican "permitiendo" o "desautorizando" el comportamiento de ciertos (o todos) los bots.

Todos aman los “hacks”. No soy la excepción. Me encanta encontrar maneras de hacer mi vida mejor y más fácil.
Es por esto que la técnica que te voy a contar hoy es una de mis favoritas. Es un hack de SEO que puedes comenzar a usar inmediatamente. Es una manera de incrementar tu SEO al aprovechar una parte natural de cada sitio web que muy raramente se menciona. Tampoco es difícil implementarla.

Es el archivo robots.txt (también llamado protocolo o estándar para la exclusión de los robots).

Cuando un buscador como Google llega a un sitio web, intenta rastrear el toda la información posible para después indexar en sus listados de resultados todas las páginas que encuentre. No obstante, a veces queremos que algunas secciones y páginas se mantengan al margen y no sean indexadas. Aquí es dónde entra en juego el archivo robots.txt.

También llamado archivo de exclusión de robots, el archivo robots.txt de una web nos permite darle una serie de indicaciones a los buscadores para que no rastreen ni indexen ciertas partes de nuestra página.

Por su importancia, y porque es una poderosa herramienta para mejorar el SEO, hoy veremos qué es el archivo robots.txt, para qué sirve exactamente, cuáles son las principales instrucciones que podemos darles a los buscadores, y cómo crear un robots.txt para WordPress y para cualquier tipo de web.

Además, te también te daré un ejemplo de robots.txt para WordPress y te explicaré qué diferencia hay entre utilizar este archivo y la etiqueta Meta Robots.

Índice de Contenidos:
1.- ¿Qué es el archivo robots.txt y para qué sirve?
2.- Comandos principales que puedes utilizar en tu archivo robots.txt
Ejemplos y casos en los que utilizar los diferentes comandos
3.- Cómo generar un archivo robots.txt
Cómo crear un archivo robots.txt en WordPress
Cómo crear un archivo robots.txt en cualquier otro tipo de web
4.- Ejemplo de robots.txt para WordPress
5.- Diferencias entre Robots.txt y etiqueta Meta Robots
6.- ¿Tienes alguna duda?