Python - problema con request

   
Vista:

problema con request

Publicado por Sergio (21 intervenciones) el 04/04/2017 12:29:23
Buenos días,

Estoy probando a leer webs creando la url de forma dinamica, y para el ejemplo he probado con

1
2
3
4
5
6
7
j=1
url= 'https://www.meneame.net/?page=' + j
sitio = requests.get(url)
.
.
.
j=j+1

Cuando j vale 2, leo la URL, pero al hacer el request.get, este, no se produce. ¿alguna sugerencia?

Muchas Gracias de antemano.
Valora esta pregunta
Me gusta: Está pregunta es útil y esta claraNo me gusta: Está pregunta no esta clara o no es útil
0
Responder

problema con request

Publicado por Sergio (21 intervenciones) el 04/04/2017 12:54:37
Concreto un poco más......... exactamete es al hacer

html.fromstring(url)

donde estoy viendo fallo
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
Imágen de perfil de xve

problema con request

Publicado por xve (1378 intervenciones) el 04/04/2017 15:24:22
Hola Sergio, nos puedes adjuntar el código completo para poder probarlo?
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar

problema con request

Publicado por Sergio (21 intervenciones) el 04/04/2017 15:53:35
El código completo es un poco, compleo de adjuntar, pero

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
from lxml import etree
from lxml import html
import requests
 
j=10
if requests.get('url= 'https://www.meneame.net/?page=' + str(j)):
hayDatos=10
    while hayDayos >=0:
        url= ('url= 'https://www.meneame.net/?page=' + str(j)):
        print "La url a mostrar es "+ str(url)
        sitio = requests.get(url)
        print "El estado del sitio es "+ str(sitio)
 
        arbol = html.fromstring(sitio.content)
        Enlaces = arbol.xpath('//a[@href]/text()')
        print Enlaces
        hayDatos=hayDatos-1

El problema es, que en meneame el numero de páginas es mas o menos conocido, pero necesito que la variable hayDatos sea booleana, y controlar que haya siguiente página...
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar

problema con request

Publicado por Sergio (21 intervenciones) el 05/04/2017 12:17:13
mas facil de lo pensado... cambiando

html.fromstring(sitio.content)

debiendo importar

from lxml.html import fromstring

Ahora por otro lado, quisiera añadir una condicion de parada facilmente, pero

Enlaces = arbol.xpath('//a[@href]/text()')

devuelve un [ ] objeto tremendo..... ¿Alguna sujerencia?
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar