problema con js cuando la web es dinamica
Publicado por david (2 intervenciones) el 03/10/2020 12:23:45
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
pagina="https://es.aliexpress.com/af/hdmi-vga.html?trafficChannel=af&d=y&CatId=0&SearchText=hdmi+vga<ype=affiliate&SortType=default&g=y"
driver.get(pagina)
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
todo = driver.page_source
todo= BeautifulSoup(todo, 'lxml')
#articulos=todo.findAll("li", class_="list-item")
articulos=todo.findAll("div", class_="item-title-wrap")
print("cantidad de articulos="+str(len(articulos)))
a=0
for articulosActual in articulos:
if(a==0):
print("a="+str(articulosActual))
a=a+1
#input("--")
time.sleep(1)
todo=driver.execute_script("return document.documentElement;")
#print("todo="+str(todo.get_attribute('innerHTML')))
todo=str(todo.get_attribute('innerHTML'))
todo=BeautifulSoup(todo, 'lxml')
#articulos=todo.findAll("li", class_="list-item")
articulos=todo.findAll("div", class_="item-title-wrap")
print("cantidad de articulos="+str(len(articulos)))
Cargo una pagina con python miro cuantos elementos me captura hago scroll le digo a javascript que me devuelva el codigo de la web una vez hecho scroll y me sigue capturando los mismos. Y he confirmado que coinciden. osea no es que me va devolviendo siempre los siguientes etc.
Valora esta pregunta


0