Visual Basic.NET - leer datos de una pagina web en vb.net

using System;

using System.Collections.Generic;

using System.ComponentModel;

using System.Data;

using System.Drawing;

using System.Linq;

using System.Text;

using System.Windows.Forms;

using HtmlAgilityPack;

using System.Net;

using System.Collections.Specialized;

using System.IO;

namespace WindowsFormsApplication1

    //Primero tengo que obtener la librería HtmlAgilityPack que nos ayudara a manejar el 

    //HTML de la pagina web de SUNAT (http://www.sunat.gob.pe/cl-at-ittipcam/tcS01Alias). 

    //Para esto, descargamos la versión 1.4.6 de la pagina web del proyecto https://htmlagilitypack.codeplex.com/. 

    //Posteriormente, lo importamos como referencia en nuestro proyecto.

{

    public partial class Form1 : Form

    {

        public Form1()

        {

            InitializeComponent();

        }

        private void Form1_Load(object sender, EventArgs e)

        {

            try

            {

                //Ahora nos toca implementar el código que se encargará de conectarse a la pagina web y obtener el documento HTML.

                string sUrl = "http://www.sunat.gob.pe/cl-at-ittipcam/tcS01Alias";

                Encoding objEncoding = Encoding.GetEncoding("ISO-8859-1");

                CookieCollection objCookies = new CookieCollection();

                //USANDO GET

                HttpWebRequest getRequest = (HttpWebRequest)WebRequest.Create(sUrl);

                getRequest.Method = "GET";

                getRequest.CookieContainer = new CookieContainer();

                getRequest.CookieContainer.Add(objCookies);

                //Como se puede ver usamos el Httpwebrequest para realizar la petición a la web de 

                //    SUNAT y con esto deberíamos obtener una respuesta que se cargara en el 

                //Httpwebresponse que se muestra continuación.

                string sGetResponse = string.Empty;

                using (HttpWebResponse getResponse = (HttpWebResponse)getRequest.GetResponse())

                {

                    objCookies = getResponse.Cookies;

                    using (StreamReader srGetResponse = new StreamReader(getResponse.GetResponseStream(), objEncoding))

                    {

                        sGetResponse = srGetResponse.ReadToEnd();

                    }

                }

                //Se ve que el resultado de la consulta se guarda en la variable sGetResponse y 

                //    esta contendrá el código HTML de la web de tipo de cambio. Con esta información 

                //        ya podremos saber cuales son los tipos de cambio de este mes pero nos faltaría 

                //obtener los valores de día, venta y compra sin los demás datos redundante del HTML. 

                //Para ello, usaremos la librería HtmlAgilityPack que ya tenemos en nuestro proyecto.

                //En este ejemplo se esta usando la libreria HtmlAgilityPack ... la pueden conseguir en internet

                //para el framework que deseen o que utilicen ... Go ! 

                //Obtenemos Informacion

                HtmlAgilityPack.HtmlDocument document = new HtmlAgilityPack.HtmlDocument();

                document.LoadHtml(sGetResponse);

                //Como se puede apreciar, se ha cargado la variable sGetResponse, que contiene el

                //    código HTML, como  un objeto de tipo HtmlDocument. Con esto ya podemos navegar 

                //        entre los TAG'S HTML y poder quitar los datos redundante y solo obtener los que 

                //necesitamos. Estos datos los colocaremos en una tabla que contendrá 3 columnas (día, compra y venta).

                HtmlNodeCollection NodesTr = document.DocumentNode.SelectNodes("//table[@class='class=\"form-table\"']//tr");

                if (NodesTr != null)

                {

                    DataTable dt = new DataTable();

                    dt.Columns.Add("Dia", typeof(String));

                    dt.Columns.Add("Compra", typeof(String));

                    dt.Columns.Add("Venta", typeof(String));

                    int iNumFila = 0;

                    foreach (HtmlNode Node in NodesTr)

                    {

                        if (iNumFila > 0)

                        {

                            int iNumColumna = 0;

                            DataRow dr = dt.NewRow();

                            foreach (HtmlNode subNode in Node.Elements("td"))

                            {

                                if (iNumColumna == 0) dr = dt.NewRow();

                                string sValue = subNode.InnerHtml.ToString().Trim();

                                sValue = System.Text.RegularExpressions.Regex.Replace(sValue, "<.*?>", " ");

                                dr[iNumColumna] = sValue;

                                iNumColumna++;

                                if (iNumColumna == 3)

                                {

                                    dt.Rows.Add(dr);

                                    iNumColumna = 0;

                                }

                            }

                        }

                        iNumFila++;

                    }

                    dt.AcceptChanges();

                    // La idea es muy parecida (por no decir igual) a los otros proyectos colgados

                    //Suerte :)

                    this.dgvHtml.DataSource = dt;

                    //Obtener los ultimos valores es facil, porque esto devuelve una tabla y 

                    //pues obtenemos los datos de la ultima fila, en la linea de abajo se daran cuenta

                    // :)

                    label1.Text = dt.Rows[dt.Rows.Count-1].ItemArray[1].ToString();

                }

            }

            catch (Exception ex)

            {

                MessageBox.Show(ex.Message);

            }

            //Suscribanse y unsanse al grupo de facebook ! :)

        }

    }

}

'INIT

        lblMensaje.Text = "Inicializando.."

        Dim tempCookie As New CookieContainer()

        Dim postData As String = "option=credential&Ecom_User_ID=" + txtUsuario.Text + "&Ecom_Password=" + txtPassword.Text + "&submit=Enviar"

        Dim byteArray As Byte() = Encoding.UTF8.GetBytes(postData)

        'OBTENEMOS LA COOKIE

        lblMensaje.Text = "Obteniendo la Cookie.."

        Dim peticionGalleta As HttpWebRequest = CType(WebRequest.Create("https://cfdiau.sat.gob.mx/nidp/app/login?id=SATUPCFDiCon&sid=0&option=credential&sid=0"), HttpWebRequest)

        peticionGalleta.Method = "POST"

        peticionGalleta.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"

        'peticionGalleta.ContentType = "text/html;charset=UTF-8";

        peticionGalleta.CookieContainer = tempCookie

        peticionGalleta.Host = "cfdiau.sat.gob.mx"

        peticionGalleta.Referer = "https://cfdiau.sat.gob.mx/nidp/wsfed/ep?id=SATx509Custom&sid=0&option=credential&sid=0"

        peticionGalleta.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0"

        'peticionGalleta.ContentLength = byteArray.Length;

        Dim sw As New StreamWriter(peticionGalleta.GetRequestStream())

        sw.Write(postData, 0, byteArray.Length)

        sw.Close()

        Dim respuestaGalleta As HttpWebResponse = CType(peticionGalleta.GetResponse(), HttpWebResponse)

        Dim lectorGalleta As New StreamReader(respuestaGalleta.GetResponseStream())

        Dim htmlr As String = lectorGalleta.ReadToEnd()

        richTextBox1.Text = htmlr

        WebBrowser1.DocumentText = richTextBox1.Text

        'YA CON LA COOKIE INICIAMOS SESION  

        lblMensaje.Text = "Iniciando Sesion.."

        Dim peticion As HttpWebRequest = CType(WebRequest.Create("https://cfdiau.sat.gob.mx/nidp/app/login?sid=0&sid=0"), HttpWebRequest)

        peticion.Method = "POST"

        peticion.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"

        peticion.Credentials = CredentialCache.DefaultCredentials

        peticion.KeepAlive = True

        peticion.CookieContainer = tempCookie

        peticion.Host = "cfdiau.sat.gob.mx"

        peticion.Referer = "https://cfdiau.sat.gob.mx//nidp/app/login?id=SATUPCFDiCon&sid=0&option=credential&sid=0"

        peticion.UserAgent = "Mozilla/5.0 (X11; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"

        peticion.ContentType = "application/x-www-form-urlencoded"

        peticion.ContentLength = byteArray.Length

        Dim sw2 As New StreamWriter(peticion.GetRequestStream())

        sw2.Write(postData, 0, byteArray.Length)

        sw2.Close()

        'OBTENEMOS INGRESO

        lblMensaje.Text = "Obteniendo Datos.."

        Dim respuesta As HttpWebResponse = CType(peticion.GetResponse(), HttpWebResponse)

        Dim lector As New StreamReader(respuesta.GetResponseStream())

        Dim html As String = lector.ReadToEnd()

        richTextBox1.Text = html

        WebBrowser1.DocumentText = richTextBox1.Text

        'OBTENEMOS DATOS PARA REFERENCIAR

        lblMensaje.Text = "Iniciando Tipo.."

        Dim peticionTIPOD As HttpWebRequest = CType(WebRequest.Create("https://portalcfdi.facturaelectronica.sat.gob.mx/"), HttpWebRequest)

        peticionTIPOD.Method = "POST"

        peticionTIPOD.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"

        peticionTIPOD.Credentials = CredentialCache.DefaultCredentials

        peticionTIPOD.KeepAlive = True

        peticionTIPOD.CookieContainer = tempCookie

        peticionTIPOD.Host = "portalcfdi.facturaelectronica.sat.gob.mx"

        peticionTIPOD.Referer = "https://cfdicontribuyentes.accesscontrol.windows.net/v2/wsfederation"

        peticionTIPOD.UserAgent = "Mozilla/5.0 (X11; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"

        peticionTIPOD.ContentType = "application/x-www-form-urlencoded"

        ''peticionTIPOD.ContentLength = byteArray.Length

        Dim sw3 As New StreamWriter(peticionTIPOD.GetRequestStream())

        sw3.Write(postData, 0, byteArray.Length)

        sw3.Close()

        'OBTENEMOS CONTROL DE ACCESO

        lblMensaje.Text = "Obteniendo Tipos.."

        Dim respuesta3 As HttpWebResponse = CType(peticionTIPOD.GetResponse(), HttpWebResponse)

        Dim lector3 As New StreamReader(respuesta3.GetResponseStream())

        'OBTIENE RESPUESTA FORM EN STRING

        Dim html3 As String = lector3.ReadToEnd()

        ''ELIMINO LA CEDENA <META HTTP-EQUIV="expires" CONTENT="0"> PARA CONVERTIR RESPUESTA EN XML

        Dim CadenaEliminar = "<META HTTP-EQUIV=" & """expires""" & " CONTENT=" & """0""" & ">"

        html3 = Replace(html3, CadenaEliminar, "")

        ''Leemos los valores pasando la respuesta XML a un DataSet

        Dim srXmlData As New System.IO.StringReader(html3)

        Dim DS As New DataSet

        DS.ReadXml(srXmlData)

        Rwa = DS.Tables("input").Rows(0).Item("value")

        Rwresult = DS.Tables("input").Rows(1).Item("value")

        Rwctx = DS.Tables("input").Rows(2).Item("value")

        richTextBox1.Text = html3

        WebBrowser1.DocumentText = richTextBox1.Text

        ''MUESTRA TIPO DE DESCARGA

        Dim postDataA As String = "wa=" & Rwa & "&wresult=" & Rwresult & "&wctx=" & Rwctx

        Dim byteArrayA As Byte() = Encoding.UTF8.GetBytes(postDataA)

        'lblMensaje.Text = "Iniciando Tipo.."

        Dim Peticion4 As HttpWebRequest = CType(WebRequest.Create("https://cfdicontribuyentes.accesscontrol.windows.net/v2/wsfederation"), HttpWebRequest)

        Peticion4.Method = "POST"

        ''Peticion4.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"

        'Peticion4.Credentials = CredentialCache.DefaultCredentials

        Peticion4.AllowAutoRedirect = True

        ''Peticion4.KeepAlive = True

        ''Peticion4.CookieContainer = tempCookie

        ''Peticion4.Host = "cfdicontribuyentes.accesscontrol.windows.net"

        ''Peticion4.Referer = "https://cfdiau.sat.gob.mx/nidp/app/login?sid=0&sid=0"

        Peticion4.UserAgent = "Mozilla/5.0 (X11; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"

        ''Peticion4.ContentType = "application/x-www-form-urlencoded"

        Peticion4.ContentLength = byteArrayA.Length

        'Dim sw4 As New StreamWriter(Peticion4.GetRequestStream())

        'sw4.Write(postDataA, 0, byteArrayA.Length)

        'sw4.Close()

        Dim requestStream As Stream = Peticion4.GetRequestStream

        Dim postBytes As Byte() = Encoding.ASCII.GetBytes(postDataA)

        requestStream.Write(postBytes, 0, postBytes.Length)

        requestStream.Close()

        'OBTENEMOS SALDO Y VIGENCIA

        lblMensaje.Text = "Obteniendo Tipos.."

        Dim respuesta4 As HttpWebResponse = CType(Peticion4.GetResponse(), HttpWebResponse)

        Dim lector4 As New StreamReader(respuesta4.GetResponseStream())

        Dim html4 As String = lector4.ReadToEnd()

        richTextBox1.Text = html4

        WebBrowser1.DocumentText = richTextBox1.Text

using System;

using System.Collections.Generic;

using System.ComponentModel;

using System.Data;

using System.Drawing;

using System.Linq;

using System.Text;

using System.Windows.Forms;

using HtmlAgilityPack;

using System.Net;

using System.Collections.Specialized;

using System.IO;

namespace WindowsFormsApplication1

    //Primero tengo que obtener la librería HtmlAgilityPack que nos ayudara a manejar el 

    //HTML de la pagina web de SUNAT (http://www.sunat.gob.pe/cl-at-ittipcam/tcS01Alias). 

    //Para esto, descargamos la versión 1.4.6 de la pagina web del proyecto https://htmlagilitypack.codeplex.com/. 

    //Posteriormente, lo importamos como referencia en nuestro proyecto.

{

    public partial class Form1 : Form

    {

        public Form1()

        {

            InitializeComponent();

        }

        private void Form1_Load(object sender, EventArgs e)

        {

            try

            {

                //Ahora nos toca implementar el código que se encargará de conectarse a la pagina web y obtener el documento HTML.

                string sUrl = "http://www.sunat.gob.pe/cl-at-ittipcam/tcS01Alias";

                Encoding objEncoding = Encoding.GetEncoding("ISO-8859-1");

                CookieCollection objCookies = new CookieCollection();

                //USANDO GET

                HttpWebRequest getRequest = (HttpWebRequest)WebRequest.Create(sUrl);

                getRequest.Method = "GET";

                getRequest.CookieContainer = new CookieContainer();

                getRequest.CookieContainer.Add(objCookies);

                //Como se puede ver usamos el Httpwebrequest para realizar la petición a la web de 

                //    SUNAT y con esto deberíamos obtener una respuesta que se cargara en el 

                //Httpwebresponse que se muestra continuación.

                string sGetResponse = string.Empty;

                using (HttpWebResponse getResponse = (HttpWebResponse)getRequest.GetResponse())

                {

                    objCookies = getResponse.Cookies;

                    using (StreamReader srGetResponse = new StreamReader(getResponse.GetResponseStream(), objEncoding))

                    {

                        sGetResponse = srGetResponse.ReadToEnd();

                    }

                }

                //Se ve que el resultado de la consulta se guarda en la variable sGetResponse y 

                //    esta contendrá el código HTML de la web de tipo de cambio. Con esta información 

                //        ya podremos saber cuales son los tipos de cambio de este mes pero nos faltaría 

                //obtener los valores de día, venta y compra sin los demás datos redundante del HTML. 

                //Para ello, usaremos la librería HtmlAgilityPack que ya tenemos en nuestro proyecto.

                //En este ejemplo se esta usando la libreria HtmlAgilityPack ... la pueden conseguir en internet

                //para el framework que deseen o que utilicen ... Go ! 

                //Obtenemos Informacion

                HtmlAgilityPack.HtmlDocument document = new HtmlAgilityPack.HtmlDocument();

                document.LoadHtml(sGetResponse);

                //Como se puede apreciar, se ha cargado la variable sGetResponse, que contiene el

                //    código HTML, como  un objeto de tipo HtmlDocument. Con esto ya podemos navegar 

                //        entre los TAG'S HTML y poder quitar los datos redundante y solo obtener los que 

                //necesitamos. Estos datos los colocaremos en una tabla que contendrá 3 columnas (día, compra y venta).

                HtmlNodeCollection NodesTr = document.DocumentNode.SelectNodes("//table[@class='class=\"form-table\"']//tr");

                if (NodesTr != null)

                {

                    DataTable dt = new DataTable();

                    dt.Columns.Add("Dia", typeof(String));

                    dt.Columns.Add("Compra", typeof(String));

                    dt.Columns.Add("Venta", typeof(String));

                    int iNumFila = 0;

                    foreach (HtmlNode Node in NodesTr)

                    {

                        if (iNumFila > 0)

                        {

                            int iNumColumna = 0;

                            DataRow dr = dt.NewRow();

                            foreach (HtmlNode subNode in Node.Elements("td"))

                            {

                                if (iNumColumna == 0) dr = dt.NewRow();

                                string sValue = subNode.InnerHtml.ToString().Trim();

                                sValue = System.Text.RegularExpressions.Regex.Replace(sValue, "<.*?>", " ");

                                dr[iNumColumna] = sValue;

                                iNumColumna++;

                                if (iNumColumna == 3)

                                {

                                    dt.Rows.Add(dr);

                                    iNumColumna = 0;

                                }

                            }

                        }

                        iNumFila++;

                    }

                    dt.AcceptChanges();

                    // La idea es muy parecida (por no decir igual) a los otros proyectos colgados

                    //Suerte :)

                    this.dgvHtml.DataSource = dt;

                    //Obtener los ultimos valores es facil, porque esto devuelve una tabla y 

                    //pues obtenemos los datos de la ultima fila, en la linea de abajo se daran cuenta

                    // :)

                    label1.Text = dt.Rows[dt.Rows.Count-1].ItemArray[1].ToString();

                }

            }

            catch (Exception ex)

            {

                MessageBox.Show(ex.Message);

            }

            //Suscribanse y unsanse al grupo de facebook ! :)

        }

    }

}