3

Tenho um arquivo em csv com alguns urls que precisam ser acessadas.

http://www.icarros.com.br/Audi, Audi
http://www.icarros.com.br/Fiat, Fiat
http://www.icarros.com.br/Chevrolet, Chevrolet

Tenho um spider para fazer todas as requições.

import scrapy
import csv
from scrapy.selector import Selector

class ModelSpider(scrapy.Spider):
    name = "config_brands"
    start_urls = [
        'http://www.icarros.com/'
    ]

    def parse(self, response):
        file = open("files/brands.csv")
        reader = csv.reader(file)

        for line in reader:
            yield scrapy.Request(line[0], self.success_connect, self.error_connect)

    def success_connect(self, response):
        self.log('Entrei na url: %s' %response.url)

    def error_connect(self, response):
        self.log('Nao foi possivel %s' %response.url)

Quando tento rodar o spider ele não consegue conectar em nenhuma das urls sendo que se eu entrar com a mesma url no navegador ele consegue acessar normalmente. E minha função de errback também não funciona.

Debug:

2016-09-09 10:17:00 [scrapy] DEBUG: Crawled (200) <GET http://www.icarros.com.br/principal/index.jsp> (referer: None)
2016-09-09 10:17:00 [scrapy] DEBUG: Retrying <<BOUND METHOD MODELSPIDER.ERROR_CONNECT OF <MODELSPIDER 'CONFIG_BRANDS' AT 0X7F7D18B45990>> http://www.icarros.com.br/Audi> (failed 1 times): 400 Bad Request
2016-09-09 10:17:07 [scrapy] DEBUG: Retrying <<BOUND METHOD MODELSPIDER.ERROR_CONNECT OF <MODELSPIDER 'CONFIG_BRANDS' AT 0X7F7D18B45990>> http://www.icarros.com.br/Audi> (failed 2 times): 400 Bad Request
2016-09-09 10:17:14 [scrapy] DEBUG: Gave up retrying <<BOUND METHOD MODELSPIDER.ERROR_CONNECT OF <MODELSPIDER 'CONFIG_BRANDS' AT 0X7F7D18B45990>> http://www.icarros.com.br/Audi> (failed 3 times): 400 Bad Request
2016-09-09 10:17:14 [scrapy] DEBUG: Crawled (400) <<BOUND METHOD MODELSPIDER.ERROR_CONNECT OF <MODELSPIDER 'CONFIG_BRANDS' AT 0X7F7D18B45990>> http://www.icarros.com.br/Audi> (referer: http://www.icarros.com.br/principal/index.jsp)

1 Resposta 1

4

Tem ao menos duas formas de resolver isso.

  1. A primeira é especificar ao middleware que você deseja lidar com códigos de resposta que estejam fora do intervalo 200-300, faça isso no handle_httpstatus_list:

    class ModelSpider(scrapy.Spider):
        name = "config_brands"
        handle_httpstatus_list = [400, 403]
    

    Veja a documentação para mais detalhes.

    E minha função de errback também não funciona.

    Especifique o callback e errback:

    yield scrapy.Request(line[0], callback = self.success_connect, 
                                   errback = self.error_connect)
    

    Ao fazer essas duas alterações o teu código deve funcionar como o esperado.


  1. Uma alternativa é usar o método start_requests, que deve ser mais apropriado que o parse neste caso pois você quer acessar uma lista de URLs, o parse geralmente é usado para processar a resposta.

    Você pode fazer assim:

    class ModelSpider(scrapy.Spider):
        name = "config_brands"
    
        def start_requests(self):
            with open('brands.csv', 'r') as f:
                reader = csv.reader(f)
    
                for url, modelo in reader:
                    yield scrapy.Request(url, callback = self.success_connect, 
                                               errback = self.error_connect)
    

    No sucess_connect você trata a resposta recebida, veja um exemplo:

    def success_connect(self, response):
        self.logger.info('Entrei na url: {}'.format(response.url))
    
        anuncios = response.xpath('//div[@class="dados_veiculo"]')
    
        for anuncio in anuncios:
            titulo = anuncio.xpath('a[@class="clearfix"]/@title').extract()[0]
            valor = anuncio.xpath('a/p/text()').extract()[0]
    
            # Para lidar com caracteres acentuados
            titulo = titulo.encode('utf-8')
            valor = valor.encode('utf-8')
    
            print ("{}: {}".format(titulo, valor))
    

    No error_connect faça o tratamento, ou informe o erro:

    def error_connect(self, failure):
            self.logger.error('Nao foi possivel: {}'.format(failure.url))
    

Se preferir tratar adequadamente exceções que ocorram no processamento da requisição, dê uma olhada nesse exemplo na documentação.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .