La Web del Programador: Comunidad de Programadores
 
    Pregunta:  52815 - COMO PUEDO CREAR UN SPIDER EN VISUAL C++???
Autor:  Eduardo Trejo
Necesito Urgente q xfavor alguien me diga como puedo hacer para crear un programa de un SPIDER de correos y links!!.. el programa consiste en colocar una direccion web y extraer a un archivos todos los correos y links de esa pagina, para luego ordenarlos por nombre y tipo..
espero alguien me pueda dar una idea de como hacerlo..

  Respuesta:  Claudio Gonzalez Vera
Hola:

No te puedo ayudar exactamente con Visual C++ ya que lo mio es C# -aunque son parecidos- pero justamente hace un tiempo estoy con un proyecto sobre un spider que sirve para extraer info de otros sitios. La forma que tenes de hacerlo es la sgte:

1. Debes revisar que opciones te ofrece visual C++ en cuanto a librerias y demas para poder realizar request desde codigo; esto es, me refiero a de que manera tenes para realizar la conexion desde tu aplicacion a cualquier servidor web. En .NET lo hacemos a traves de System.Net.WebCliente entre otras claes mas avanzadas.
2. Una vez que puedas realizar las solicitudes de pagina a traves de codigo, debes "parsear" las mismas, que cuando las tienes son simples HTML. Lo recomendable es usar expresiones regulares que te facilitan un monton de caminos, de lo contrario tendras que hacer los algoritmos a mano para sacar de esas cadenas la infor que necesitas.
3. Te bosquejo la solucion:
Class SolicitudPagina
{
public String SolicitarPagina(String Url)
{
String html=RealizarSolicitudWeb(url); //WebRequest
.
.
.
}
public void ParsearHTML()
{
String res= this.SolicitarPagina("WWW.LAPAGINA.COM")
/*Parsear */
}
}