La Web del Programador: Comunidad de Programadores
 
    Pregunta:  60090 - INFORMACIÓN DE PÁGINAS WEB Y CONSULTAS EN C#
Autor:  Miguel León
Buen día, tengo el siguiente proyecto: crear un aplicación que pueda descargar información de cualquier página web y crear consultas en base a la información descargada. Soy principiante en c#, por lo que mi pregunta es ¿es posible realizar este tipo de aplicación con c#? y si es posible realizarse ¿en que conceptos me debo enfocar para crear este tipo de aplicación? De antemano gracias, Miguel León.

  Respuesta:  Charlos Jim
Lo que buscas se llama Web Spyder,. Hay muchas ejemplos por ahí.
http://www.codeproject.com/KB/aspnet/ZetaWebSpider.aspx