2

Estou fazendo um web scrapping em python e as vezes me deparo com alguns links e/ou buttons que não estão com o endereço real da url para que você será redirecionando se clicar.

Nesse caso, se eu clicar, faz o download de um arquivo PDF, mas eu quero apenas pegar a URL do arquivo.

No caso do link: as vezes aparece um javascript

No meu problema atual: é um button sem formulário..

*** Quando eu vou em download e vejo qual é a url, eu não consigo acessa-lá diretamente (copiando e colando na barra de endereço do navegador)

Estou usando selenium e requests!

Alguém tem alguma ideia do que seja isso e como resolver?

1
  • Compartilhe o código que você já escreveu
    – Laerte
    Commented 27/09/2016 às 19:48

1 Resposta 1

1

Recomendo usar Beautiful Soup para manipular o HTML
Pode tentar usar JSON tbm

Pelo que entendi você tem que ter uma base de HTTP
pode tentar instalar um addon firebug para o firefox e analisar o comportamento
quando você clickar no botao do pdf para fazer o download pode análisar no firebug o que foi feito. por exemplo eu click em um botao para fazer o download e com firebug aberto consigo ver que foi feito um POST e pego esse POST para entender o que eu preciso manipular na hora de fazer um GET.
www.meusite.com/lista-pdf
clickei no botao do download
no firebug:
POST download.do?id25/pdf1/arquivo.pdf
basta eu usar entao:
www.meusite.com/download.do?id25/pdf1/arquivo.pdf

3
  • Curti a dica do firebug! Eu já uso o Beautiful Soup mas ele não mostra o link também... O link que eu quero, tá mais ou menos assim no site: <input type="button" value="Visualizar" onclick="javascript:__doPostBack('ctl00$ConteudoPagina$VerPub','Select$0')" class="button"> Eu percebi que quando acontece o click ele gera um script javascript novo na página que defini um dos parâmetros da URL. Eu estava tentando fazer por request (nesse caso são posts) mas não tá rolando.. Acho que eu terei de fazer tudo em Selenium mesmo :/ Commented 30/09/2016 às 21:02
  • tens o link do site !?
    – Hawksec
    Commented 3/10/2016 às 9:45
  • Tenho sim, é esse: santoandre.sp.gov.br/publicacao/edicao/consultaedicao.aspx Olha no link "Vizualizar" e não mostra pra mim o link, apenas um js com um doPostBack que eu não sei o que é. Commented 24/10/2016 às 15:59

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .