Preciso coletar informações de um site, utilizando spiders dentro do ScraPy em Python, porém o site é um método post e estou aprendendo a linguagem enquanto desenvolvo o projeto. Achei um modelo de post porém não estou conseguindo rodá-lo de forma correta. O código que possuo é este:
scrapy.FormRequest(
url='http://www.camex.gov.br/resolucoes-camex/resolucoes',
formdata={
'filter[search]': '',
'filter[res]': '',
'filter[ano]': '',
'limit': paginas,
'limitstart': quantidadeDeRegistros,
'task': '',
'boxchecked': 0,
'filter_order': '',
'filter_order_Dir': '',
'46598c34d1ab5af3b00e8d84a4281fbc': 1,
'list[fullordering]': 'null ASC'
},
callback=self.parsePagina
)
Está correto ou existe uma outra forma melhor de fazer?
parsePagina
, o que você tem nesse método?def parsePagina(self, response): itemResolucao = response.xpath('//*[@id="resolucaoList"]/tbody/tr') urlBase = "http://www.camex.gov.br" for itens in itemResolucao: links_resolucoes = itens.xpath('.//a/@href').extract_first() if not '://' in links_resolucoes: link = urlBase + itens.xpath('.//a/@href').extract_first() req = Request(url=link, callback=self.parseResolucao) yield req print 'trabalhando na pagina'