0

Quando executo minha aranha o scrapy me retorna o seguinte erro:

ValueError: Missing scheme in request url h

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "Mineracao"

    def start_requests(self):

        link = "http://www.jornalpanorama.com.br/site/data-policia.php?page="
        y=1
        for x in range(240):
            urls=link+str(y)
            y=y+1
            print urls  

        for url in start_urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):

        url = "http://www.jornalpanorama.com.br/site/"
        for x in response.xpath("//*[contains(@class, 'listar-noticias-titulo')]/a/@href").extract():
            print url + x
1
  • 3
    Onde está definido a variável start_urls? Você está utilizando, mas não foi definida em lugar algum do código. E tem a variável urls que você itera sobre e depois não utiliza. Elas deveriam ser a mesma coisa?
    – Woss
    6/05/2017 às 19:23

1 Resposta 1

0

Assumindo que você quer visitar todas as páginas (da 1 à 240), você provavelmente queria fazer:

def start_requests(self):
    link = "http://www.jornalpanorama.com.br/site/data-policia.php?page="
    for x in range(1, 240):
        yield scrapy.Request(url=link + str(x), callback=self.parse)

Caso vc queira realmente começar da página 1 e pular as páginas pares (como no seu código), pode usar range(1, 240, 2) no lugar de range(240).

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .