0

Sou iniciante e estou tentando pegar uma tabela do site do portal da transparência, mais não estou conseguindo vem só a tag sem dado nenhum. Quando abro a ferramenta do desenvolvedor eu visualizo os dados que eu quero que são os estados e o valor de repasse, mais quando dou um ctrl+u pra o cogido o dado não aparece apedas a tag,pode estar confuso mais tem as imagens abaixo.

quando eu busco a tag no python ela aparece sem nada dentro como quando olho o código da pagina dando um ctrl+u, o que estou fazendo de errado ?

inserir a descrição da imagem aqui

inserir a descrição da imagem aqui

import requests
from bs4 import BeautifulSoup

page = requests.get("http://www.portaltransparencia.gov.br/funcoes/12- 
educacao?ano=2018")
soup = BeautifulSoup(page.content, 'html.parser')
p = soup.find('table', class_='tabelaPrimeiroNivel')
forecast_items = p.find_all('tbody')
print(forecast_items)

1 Resposta 1

1

O seu problema é que os dados não estão na página. Ao acessar a página, é carregada um esqueleto em branco de onde os dados devem ficar, e em seguida a página roda código javascript que faz uma solicitação separada ao servidor e então cria esses elementos dinamicamente, depois que a página foi carregada.

Como o BeautifulSoup não executa javascript, você só tem acesso à página ainda vazia, logo, não é possível pegar esses dados com ele.

Você pode verificar o que eu falei, abrindo a ferramenta de desenvolvedor e carregando a página com a aba "Network" (rede) selecionada - vai ver que a página faz várias solicitações de onde vem os outros dados dinâmicos.

Existem duas soluções possíveis:

  1. Usar o Selenium - é uma biblioteca python que permite você controlar um navegador de verdade, como o firefox ou o chrome. Como navegadores de verdade executam javascript, você vai conseguir pegar os dados dessa forma, porém, essa solução é bem menos eficiente, pois precisa carregar um navegador pesado e vários elementos da página que não interessam.

  2. Ler a página, examinar o código e as solicitações que ela faz via javascript, e em seguida escrever código python manualmente que imite essas solicitações. Esse método costuma dar mais trabalho, porém, o resultado é mais eficiente, uma vez que terá um código capaz de fazer somente o que é necessário para buscar os dados que você quer.

Por sorte sua, o portal da transparência possui uma API - Uma interface para programadores resgatarem os dados, sem precisar parsear as páginas. A explicação de uso está neste link http://www.portaltransparencia.gov.br/api-de-dados

Um exemplo:

r = requests.get('http://www.portaltransparencia.gov.br/funcoes/12/mapa', 
    params={'ano': '2018'})
print(r.json())

Resultado:

[{'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'ACRE',
  'siglaUF': 'AC',
  'valor': 271382820.59},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'ALAGOAS',
  'siglaUF': 'AL',
  'valor': 762900876.36},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'AMAPÁ',
  'siglaUF': 'AP',
  'valor': 202949699.19},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'AMAZONAS',
  'siglaUF': 'AM',
  'valor': 704229532.02},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'BAHIA',
  'siglaUF': 'BA',
  'valor': 1800232448.53},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'CEARÁ',
  'siglaUF': 'CE',
  'valor': 1317203323.08},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'DISTRITO FEDERAL',
  'siglaUF': 'DF',
  'valor': 1702869722.04},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'ESPÍRITO SANTO',
  'siglaUF': 'ES',
  'valor': 1005278642.49},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'GOIÁS',
  'siglaUF': 'GO',
  'valor': 1300024908.65},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'MARANHÃO',
  'siglaUF': 'MA',
  'valor': 904528606.79},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'MATO GROSSO',
  'siglaUF': 'MT',
  'valor': 848977509.3},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'MATO GROSSO DO SUL',
  'siglaUF': 'MS',
  'valor': 812220959.61},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'MINAS GERAIS',
  'siglaUF': 'MG',
  'valor': 5612411096.05},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'PARANÁ',
  'siglaUF': 'PR',
  'valor': 1913617246.26},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'PARAÍBA',
  'siglaUF': 'PB',
  'valor': 1626800821.69},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'PARÁ',
  'siglaUF': 'PA',
  'valor': 1502290653.09},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'PERNAMBUCO',
  'siglaUF': 'PE',
  'valor': 1793890169.14},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'PIAUÍ',
  'siglaUF': 'PI',
  'valor': 752510959.88},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'RIO DE JANEIRO',
  'siglaUF': 'RJ',
  'valor': 5077770452.72},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'RIO GRANDE DO NORTE',
  'siglaUF': 'RN',
  'valor': 1417979764.75},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'RIO GRANDE DO SUL',
  'siglaUF': 'RS',
  'valor': 4444340585.5},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'RONDÔNIA',
  'siglaUF': 'RO',
  'valor': 334773348.77},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'RORAIMA',
  'siglaUF': 'RR',
  'valor': 226714164.22},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'SANTA CATARINA',
  'siglaUF': 'SC',
  'valor': 1531789135.42},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'SERGIPE',
  'siglaUF': 'SE',
  'valor': 622536740.58},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'SÃO PAULO',
  'siglaUF': 'SP',
  'valor': 1981995537.81},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': 'TOCANTINS',
  'siglaUF': 'TO',
  'valor': 424378306.98},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': '',
  'siglaUF': 'Nacional',
  'valor': 36308921677.23},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': '',
  'siglaUF': 'Centro-Oeste',
  'valor': 0.0},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': '',
  'siglaUF': 'Sul',
  'valor': 175660334.04},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': '',
  'siglaUF': 'Nordeste',
  'valor': 248671827.99},
 {'codigoIBGE': '',
  'nomeMunicipio': '',
  'nomeUF': '',
  'siglaUF': 'Sudeste',
  'valor': 0.0}]
1
  • obrigado pela resposta
    – jaderson08
    Commented 1/11/2020 às 0:06

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .