JavaScript - problema con js cuando la web es dinamica

 
Vista:

problema con js cuando la web es dinamica

Publicado por david (2 intervenciones) el 03/10/2020 12:23:45
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
pagina="https://es.aliexpress.com/af/hdmi-vga.html?trafficChannel=af&d=y&CatId=0&SearchText=hdmi+vga&ltype=affiliate&SortType=default&g=y"
driver.get(pagina)
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
 
todo = driver.page_source
todo= BeautifulSoup(todo, 'lxml')
 
#articulos=todo.findAll("li", class_="list-item")
articulos=todo.findAll("div", class_="item-title-wrap")
print("cantidad de articulos="+str(len(articulos)))
a=0
for articulosActual in articulos:
    if(a==0):
        print("a="+str(articulosActual))
    a=a+1
    #input("--")
 
time.sleep(1)
 
todo=driver.execute_script("return document.documentElement;")
 
#print("todo="+str(todo.get_attribute('innerHTML')))
todo=str(todo.get_attribute('innerHTML'))
todo=BeautifulSoup(todo, 'lxml')
#articulos=todo.findAll("li", class_="list-item")
articulos=todo.findAll("div", class_="item-title-wrap")
print("cantidad de articulos="+str(len(articulos)))

Cargo una pagina con python miro cuantos elementos me captura hago scroll le digo a javascript que me devuelva el codigo de la web una vez hecho scroll y me sigue capturando los mismos. Y he confirmado que coinciden. osea no es que me va devolviendo siempre los siguientes etc.
Valora esta pregunta
Me gusta: Está pregunta es útil y esta claraNo me gusta: Está pregunta no esta clara o no es útil
0
Responder