3

Não sou um programador de python, mas estou tentando trabalhar com a aplicação Scrapy.

inserir a descrição da imagem aqui

O exemplo acima é o que preciso, isto roda em extensão do chrome.

Para explicar, eu preciso do post e todas informações disponíveis. No caso do Post, nas categorias tem informação algumas(Short Desc, e outros) e informação no Post(Long Desc). São informações diferentes do mesmo Post.

A minha dúvida esta no processo, no primeiro loop tenho Posts que precisa de informações de um Segundo Request, que após o parse extract teria as informações.

Ficando assim

 Post.short_desc = ['xxxx'] ¹ loop

 Post.long_desc = ['xxx'] return ² loop

Como faço isto?

Agora que complica um pouco. Pois dentro do Segundo Loop, preciso adicionar as Categorias,Tags na fila para ser processado.

Fila.lista -> Add -> Url

Como faço isto?

Eu não sei como realizar isto, se puderem me ajudar. Obrigado

1 Resposta 1

3

A maneira tradicional de extrair dados de múltiplas páginas e usar o mecanismo de passar dados entre uma requisição e outra usando o dicionário meta.

Funciona assim: no callback que está extraindo o conteúdo da primeira página você monta um dict com os dados iniciais:

def parse_pagina_de_listagem(self, response):
    inicial = dict(
        short_desc=response.css('...').extract(),
        ...
    )
    # pega url da pagina com restante dos dados
    url = response.css('...').extract_first()

    # monta uma requisicao passando os dados com o parametro meta
    request = scrapy.Request(request.urljoin(url), callback=self.parse_restante)
    request.meta['item'] = inicial

O Scrapy vai enviar a requisição assincronamente, e irá passar adiante o valor na resposta.

Dessa forma, você pode receber o item inicial no callback parse_restante, e também agendar as requisições para outras páginas a seguir dentro dele:

def parse_restante(self, response):
    # recupera item do meta
    inicial = response.meta['item']

    # faz o restante da extracao do post
    yield dict(
        inicial,
        long_desc=response.css('...').extract_first(),
        ...
    )

    # segue para outras paginas, se necessario
    for link in response.css('...').extract():
        yield scrapy.Request(response.urljoin(link),
                             callback=self.parse_pagina_de_listagem)

Leia mais:

3
  • Obrigado Elias. Você entendeu perfeitamente o que falei. Realmente vi poucos tutoriais, executei alguns e outros, mas todos eram sem seguir. Acredito que agora consigo progredir e por em pratica testes e funções. vlw Commented 16/05/2016 às 21:53
  • @Luiz Legal! Qualquer coisa, segue perguntando aqui. :)
    – elias
    Commented 17/05/2016 às 1:40
  • Vlw jovem, graças a sua resposta consegui resolver um erro que tava me fudendo aqui Commented 17/06/2017 às 22:35

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .