1

Estou começando a aprender scrapy e criei a seguinte função:

import scrapy


class ModelSpider(scrapy.Spider):
    name = "model"
    start_urls = [
        'http://www.icarros.com/'
    ]

def parse(self, response):
    with open('brands.csv', 'r') as all_brands:
        for brand in all_brands:
            brand = brand.replace("\n", "")
            url = 'http://www.icarros.com/'+brand
            yield scrapy.Request(url, self.success_connect)

def success_connect(self, response):
    self.log('Entrei')

Mas aparece o seguinte erro:

AttributeError: 'ModelSpider' object has no attribute 'success_connect'
2
  • Pode postar o contexto do código? Ele deveria estar numa classe
    – rodorgas
    Commented 6/09/2016 às 17:37
  • está em um spider. @rodorgas Commented 6/09/2016 às 17:39

1 Resposta 1

3

Tem um problema na indentação do seu arquivo. As duas funções estão fora da classe (como Python não tem { }, é a indentação que define os blocos de código). O arquivo carros_spider.py funcionando fica assim:

import scrapy


class ModelSpider(scrapy.Spider):
    name = "model"
    start_urls = [
        'http://www.icarros.com/'
    ]

    def parse(self, response):
        for brand in ['ford', 'toyota']:
            brand = brand.replace("\n", "")
            url = 'http://www.icarros.com/'+brand
            yield scrapy.Request(url, self.success_connect)

    def success_connect(self, response):
        self.log('Entrei')

Para executar:

scrapy runspider carros_spider.py

Veja o output desse comando.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .