Temas de Linux - Qué es y como se utiliza correctamente el robots.txt

Buenos si eres nuevo en estos asuntos te estarás preguntando. ¿Que es esto de los robots?. Bueno te lo explicare brevemente.
El o los Robots, “los que funcionan en la web” es una herramienta automatizada por los buscadores que pasa constantemente por los sitios, páginas, blogs etc.. recopilando información o comprobando si ha habido algunos cambios recientemente para validar la información.
Los robots (robots) pueden acceder a cualquier página o contenido sin tener que dar el permiso siempre y cuando este sitio esté indexado en los buscadores. Pero tranquilo esto se puede controlar si creamos un archivo robots.txt que estará en la raíz de el sitio, escribir algunas reglas sencillas que le ayudarán a controlar lo que hacen los robots en su sitio, ya que con esto controlaremos contenido y también lo que entra en el sitio. Seria algo así como el Vigilante de un bar con una lista de invitados permitiendo la salida y entrada de las personas, bueno así pero con la información de tu web.