Python - Ayuda codigo para scraping

 
Vista:

Ayuda codigo para scraping

Publicado por Miguel (1 intervención) el 23/09/2021 16:07:31
Tengo hecho un código para hacer scraping que funciona bien si el imputed_data es alfanumérico. Cuando únicamente es numérico me lanza este error << AttributeError: 'int' object has no attribute 'upper' >>

Entiendo que al ser numérico no encuentra como hacer mayúsculas pero no se como cambiar esa parte. El código completo es es siguiente:


# Import necessary modules
from bs4 import BeautifulSoup
import requests
import pandas


inputed_data = pandas.read_excel("Datos prueba.xlsx")

scraped_data = []
total = len(inputed_data['Internal Key'])
print(f"Found {total} companies to scrape. Starting to scrap.")
n = 1
for each in inputed_data['Internal Key']:
res = requests.get(f"https://www.stoxx.com/component-details?key={each.upper()}")
soup = BeautifulSoup(res.content, 'lxml')
subsector = soup.select(".last td")[1].getText().strip()
scraped_data.append(subsector)
print(f"Got {n} companies data out of {total} companies")
n += 1

inputed_data['Subsector'] = scraped_data
inputed_data.to_excel("Datos raspados.xlsx", index=False)
print("Finished scraping! Saved the data in \"Datos raspados.xlsx\" file")


¿Puede alguien ayudarme? Gracias.
Valora esta pregunta
Me gusta: Está pregunta es útil y esta claraNo me gusta: Está pregunta no esta clara o no es útil
0
Responder
sin imagen de perfil
Val: 2.808
Oro
Ha mantenido su posición en Python (en relación al último mes)
Gráfica de Python

Ayuda codigo para scraping

Publicado por tincopasan (1082 intervenciones) el 24/09/2021 05:20:08
no tengo ganas de probarlo, pero podrías intentar con:

1
res = requests.get(f"https://www.stoxx.com/component-details?key={str(each).upper()}")
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar