Python - Programación crawler

import scrapy

from scrapy.crawler import CrawlerProcess

class toni_spider(scrapy.Spider):

name = "toni_spider"

# Indicamos la URL que queremos analizar.

# Aquí hay que incluir la URL de inicio:

start_urls = [

""

]

def parse(self, response):

# Extraemos el nombre de la moneda.

# Aquí hay que incluir la expresión 'xpath' que nos retorna los nombres de las monedas.

for currency in response.xpath(''):

yield {

'currency': currency.extract()

}

if __name__ == "__main__":

# Creamos un crawler.

process = CrawlerProcess({

'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',

'DOWNLOAD_HANDLERS': {'s3': None},

'LOG_ENABLED': False

})

# Inicializamos el crawler con nuestra araña.

process.crawl(toni_spider)

# Lanzamos la araña.

process.start()