Scrapping con cambio de IP
Publicado por Opastore (1 intervención) el 15/06/2018 16:11:18
Hola muy buenas a todos, mi nombre es Oscar, estoy realizando un estudio sobre productos de una web de venta, y tengo hecho un scrapping capturando varios datos de muchas paginas de esa web, el problema radica en que entre las 30-45 solicitudes me salta error por el tipo de seguridad de la pagina, me detecta el bot.
Alguien sabría como añadir a mi programación algo que concatene grupos de búsqueda inferiores a los 35-40 registros que tengo en cada grupo, y que si al llegar a un grupo da error me cambie la ip automáticamente y vuelva a repetir ese grupo??
Es un tanto difícil de explicar espero haberme explicado bien.
Alguien sabría como añadir a mi programación algo que concatene grupos de búsqueda inferiores a los 35-40 registros que tengo en cada grupo, y que si al llegar a un grupo da error me cambie la ip automáticamente y vuelva a repetir ese grupo??
Es un tanto difícil de explicar espero haberme explicado bien.
Valora esta pregunta


0