1

Estou tentando pegar valores específicos dentro de uma tabela, eu tenho um código similar que já utilizo da mesma forma em outra estrutura de tabela única dentro do html, o problema e que não consigo pegar o texto do campo, dentro dessa estrutura com uma tabela dentro da outra.

inserir a descrição da imagem aqui

Abaixo a estrutura da tabela e o valor que quero pegar e o que venho tentando fazer:

<table id="principal">
   <tr>
       <td id="TB01">
           <table class="secondary"></table>
       </td>
       <td id="TB02">
           <table class="secondary"></table>
       </td>
       <td id="TB03">
           <table class="secondary">
               <tr></tr>
               <tr>
                   <td></td>
                   <td></td>
                   <td>ESSE VALOR -> R$5.388,50</td>
               </tr>
           </table>
       </td>
       <td id="TB04">
           <table class="secondary"></table>
       </td>
   </tr>
</table>

Código que venho tentando utilizar:

import requests
from bs4 import BeautifulSoup

url = "http://www.bmf.com.br/bmfbovespa/pages/lumis/lum-boletim-online-new-ptBR.asp?Acao=BUSCA&cboMercadoria=DOL"
resp = requests.get(url)

        bs = BeautifulSoup(resp.text, "html.parser")

        trs = (
            bs.find("td", {"id": "TB03"})
            .find("table", {"class": "secondary"})
            .findAll("tr")
        )

        for tr in trs:
            if trs.index(tr) == 2:
                tds = tr.findAll("td")

                for td in tds:
                    if tds.index(td) == 3:
                        valor = td.get_text()
        
        print(valor)

Alguém consegue me ajudar em como consigo retornar o valor específico, sempre retorna None quando dou print, ou esse erro AttributeError: 'NoneType' object has no attribute 'find'.

1
  • Se alguma das respostas solucionou o seu problema, marque-a como correta. Se não, comente pedindo mais esclarecimentos.
    – yoyo
    Commented 19/02/2021 às 4:55

2 Respostas 2

3

Kleyton, isso acontece por que a requisição não retorna o HTML completo logo de cara. Vamos seguir com o que você fez no código:

import requests
from bs4 import BeautifulSoup

url = "http://www.bmf.com.br/bmfbovespa/pages/lumis/lum-boletim-online-new-ptBR.asp?Acao=BUSCA&cboMercadoria=DOL"
resp = requests.get(url)

bs = BeautifulSoup(resp.text, "html.parser")

Até aqui, tá tudo certo. Temos o HTML salvo em bs. O próximo passo então é navegarmos pelo HTML atrás do elemento que queremos. Pra ficar mais claro, vou fazer isso de um jeito um pouco diferente do que você adotou, mas em essência estamos fazendo a mesma coisa, ok?

trs = bs.body.div.div.div.form.div.div.table.tbody.tr.find('td', id='TB03')

Acima, eu peguei o HTML bruto, selecionei o primeiro body, dentro dele a primeira div, dentro dela a primeira div, e assim por diante, até chegar na tag <tr />, onde queremos especificamente a que tem id=TB03.

Neste momento, se você der um print(trs) vai perceber que ele retorna:

>>> <td id="TB03"></td>

Repare que a tag está vazia. É a partir daqui que tudo desanda. O trecho marcado com >>> <<<:

    trs = (
        bs.find("td", {"id": "TB03"})
        >>>.find("table", {"class": "secondary"})<<<
        .findAll("tr")
    )

vai retornar None, pois não há nada lá dentro, e a linha seguinte vai retornar erro, pois como a própria mensagem AttributeError: 'NoneType' object has no attribute 'find'. já diz, não é possível usar o método find() de None, pois ele não possui tal método, não possui nada, aliás.

Porquê isso acontece?

Se você for na página que está tentando raspar, com o console do navegador aberto na aba de mmonitoramento de rede vai ver isso: inserir a descrição da imagem aqui

O que acontece é que, nas primeiras requisições GET, é baixado um HTML de template, depois outras requisições solicitam dados ao servidor para preencher os espaços vazios com as informações que o usuário deseja ver. Ou seja, o HTML que você está obtendo no seu código ainda não possui os dados que você deseja raspar

Como proceder então?

Ainda observando a imagem acima, você pode ver que uma requisição GET é feita ao endereço http://cotacao.b3.com.br/mds/api/v1/DerivativeQuotation/DOL, que retorna um JSON gigante. Acredito que essas são as informações que você procura. Para obtê-las via python basta fazer:

url = "http://cotacao.b3.com.br/mds/api/v1/DerivativeQuotation/DOL"
resp = requests.get(url)

e o JSON estará acessível através de resp.content. Agora é só tratar os dados da maneira que você precisar que eles fiquem, isso é com você

1
  • Obrigado yoyo, funcionou perfeitamente, já tinha duvidado que o problema seria no delay do carregamento da página, mas não tinha pensado dessa forma sua explicação me ajudou bastante, já consegui extrair os dados diretamente do JSON, obrigado! Commented 19/02/2021 às 19:35
0

Conforme dito na outra resposta é carregado um 'template' para ser alimentado, dessa forma o requests não consegue pegar os valores corretos.

Utilizando requests_html

Importando a lib

from requests_html import HTMLSession

Criando a sessão

session = HTMLSession()

Fazendo a requisição

r = session.get('http://www.bmf.com.br/bmfbovespa/pages/lumis/lum-boletim-online-new-ptBR.asp?Acao=BUSCA&cboMercadoria=DOL')

Renderizando para trabalho com o javascript da página(neste momento é feito um download de um arquivo requerido pela lib, este será realizado apenas uma vez)

r.html.render()

Pegando o elemento na página

tb03 = r.html.find('#TB03',first=True)

Imprimindo

print(tb03.text)
4
  • Amigo obrigado pela ajuda, venho tentando fazer dessa forma mas não está funcionando, tentei como você comentou que não é muito diferente do que venho tentando fazer mas continua retornando o mesmo erro ou AttributeError: 'NoneType' object has no attribute 'findAll'. Commented 18/02/2021 às 19:25
  • Me passa o site para eu verificar direto da fonte Commented 18/02/2021 às 19:34
  • Eu me confundi na hora de escrever o código e troquei o class por id no html lá em cima mas percebi e alterei no código que você me deu de exemplo, ok vou atualizar o URL direto no meu código! Commented 18/02/2021 às 19:35
  • @kleytonsolinho Atualizei a resposta, abraço! Commented 18/02/2021 às 21:10

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .