1

Estou tentando fazer a raspagem de um formulário, para inserir um anexo e enviar, usando o Robobrowser.

Para abrir a página eu faço:

browser.open('url')

Para pegar o formulário eu faço:

form = browser.get_form(id='id_form')

Para inserir os dados no form eu faço:

form['data_dia'] = '25'  # por exemplo

Para submeter o formulário eu faço:

browser.submit_form(form, form['btnEnviar'])

ou apenas

browser.submit_form(form)

Porém isso não está funcionando, o form não está sendo enviado. Ao tentar buscar todos os inputs dá página, descobri que o botão para enviar não está vindo pelo Robobrowser.

fazendo,

todos_inputs = browser.find_all('input')

        for t in todos_inputs:
            print(t)

não obtenho a tag input com id 'btnEnviar', que no código html da página está dentro do form. Os outros inputs do form estão vindo, como 'dia', 'mes' e 'ano', por exemplo.

Não postei o código html pois o mesmo precisa de login e senha para acesso.

O problema é que o Robobrowser não está conseguindo raspar todas as informações do html, apenas uma parte, fazendo com que eu não consiga enviar o formulário. Existe uma solução para isso? Ou existe um outro jeito de preencher um formulário e enviá-lo com outras ferramentas, exceto RoboBrowser e BeautifulSoup?

1 Resposta 1

3

Robobrowser é um módulo que combina o requests para baixar as páginas e o BeautifulSoup para parseá-las.

O seu problema é que o botão que você quer clicar, provavelmente, na verdade não existe mesmo na página! É bem provável que as páginas do site que você quer usar, assim como muitas outras na internet, são disponibilizadas incompletas, sem todos os elementos, e só depois esses elementos são colocado na página através de código feito em javascript que é executado em seu navegador após o carregamento.

Portanto, ao inspecionar o código da página usando o seu navegador, o javascript já terá executado e completado os elementos de forma dinâmica, por isso você encontrará o botão lá. Como o BeautifulSoup não executa javascript, na página que ele parseou na memória ao rodar o script o botão não existe.

Isso é muito comum nas páginas da web hoje em dia, que são bastante dinâmicas. Te deixando com duas opções:

  • Analisar o código javascript da página e descobrir onde ele cria o botão. Ou então analisar o que o botão faz. Você pode ir lendo e acompanhando o código javascript manualmente até encontrar uma forma de imitar o que ele faz ao clicar nesse botão, quais parâmetros passar, etc. Em seguida escreva código em python para simular essas ações. Não é uma tarefa fácil mas o código ficaria bastante otimizado pois seria código python sem precisar abrir um navegador de verdade, que seria a segunda opção:

  • Utilizar um navegador de verdade, que rode javascript. A biblioteca Selenium permite que você abra e controle uma janela de navegador real através do seu script. Como a página abrirá em um navegador, o javascript vai funcionar e você consegue clicar no botão. O lado negativo é que abrir um navegador é pesado e lento, além de carregar vários elementos e imagens desnecessárias ao processo, portanto, não seria tão eficiente quanto acessar diretamente a fonte.

0

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .