2

Preciso saber como posso fazer para alterar os campos destacados, pois quando eu executo meu programa com Scrapy na versão 1.0 ele imprimi o resultado nestas quantidades destacadas.

inserir a descrição da imagem aqui

Queria saber como altera-los, se é através de um script ou das configurações do Scrapy ou até mesmo do Spiders.

1
  • Olá, Caio! Teve algum problema em pôr em prática a resposta do Renan? As stats são como um objeto global para cada job, então basta você obter uma referência a elas e pode alterar de qualquer tipo de componente (spider, pipeline, middleware, etc).
    – elias
    17/05/2016 às 1:42

1 Resposta 1

1

Para mudar os valores das estatísticas geradas durante a execução do spider, você deverá utilizar a interface "Stats Collection". Manual: http://doc.scrapy.org/en/latest/topics/stats.html

Exemplos:

  1. Mudar um valor:

    stats.set_value('hostname', socket.gethostname())

  2. Incrementar:

    stats.inc_value('pages_crawled')

O objeto 'stats' é um campo do objeto 'crawler'.

crawler.stats.get_value('start_time')

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .