Bom, como você já deve saber, ao acessar uma URL o navegador carrega o código HTML que é um texto, e gera uma árvore de objetos na memória, o famoso DOM.
O problema é que, na página do IBGE que você está tentando acessar, após o DOM ser criado na memória, é executado código javascript que modifica os objetos diretamente nessa árvore.
Isso quer dizer que os elementos que você está tentando ler não existem no código fonte da página - somente após a página ser carregada e o javascript executar é que estes elementos serão criados, dinamicamente.
O BeautifulSoup
tenta fazer o mesmo que um navegador, lê o código fonte em texto HTML e gera uma árvore de objetos na memória do python - porém com uma diferença: Como o BeautifulSoup
não executa javascript, estes elementos dinâmicos não vão estar presentes neste caso. Você terá acesso somente aos dados que vieram no código-fonte da página.
Por isso, ao invés de recuperar o código-fonte da página, parseá-lo com o BeautifulSoup
, e gerar um DOM no python, a forma de usar o Selenium corretamente é acessar o DOM que já está na memória do navegador, pois o navegador executa javascript e possui os elementos que você quer.
Para fazer isso existem funções do Selenium
que acessam o DOM do navegador diretamente. O código abaixo deve retornar todas as tags pesquisa-tabela
:
tags = driver.find_elements_by_name('pesquisa-tabela')
Com isso você evita também o duplo parseamento do HTML já que não vai ter que executar o BeautifulSoup
; Afinal o navegador já fez esse trabalho.
Uma outra forma de pegar o conteúdo após a execução do javascript é usar código javascript injetado no navegador:
codigo_html = driver.execute_script("return document.getElementsByTagName('html')[0].innerHTML")
OBS: Lembrando que esses dois métodos podem falhar caso o seu script esteja rápido demais e o javascript não tenha executado ainda. Talvez você terá que esperar o javascript terminar de executar usando uma das funções de espera do selenium, ou até mesmo time.sleep()
.
Porém, no caso do site do IBGE, você está com sorte. Tudo isso é dispensável, pois o IBGE possui uma API acessível ao público!! https://servicodados.ibge.gov.br/api/docs/pesquisas?versao=1
Usando a API é muito melhor, pois é uma forma estável, segura e suportada pelo próprio IBGE de fornecer os dados. Algumas vantagens:
- Não precisa abrir navegador
- Não precisa extrair os dados no meio de tags, já que as APIs já retornam tudo em JSON.
- Não ter que preocupar com mudanças de layout da página, onde o seu script pararia de funcionar e precisaria de manutenção.
- Usa menos memória
- Menos recursos de rede pois não precisa baixar imagens e arquivos desnecessários, vai direto na informação
Por exemplo, para pegar os dados da página que você listou acima (Censo 2010 de Rio Branco), seria:
import requests
api_pesquisas = 'https://servicodados.ibge.gov.br/api/v1/pesquisas/{pesquisa}/'
url_titulos = api_pesquisas + 'periodos/all/indicadores/{posicao}?scope=sub&lang=pt'
url_dados = api_pesquisas + 'indicadores/{posicao}/resultados/{localidades}?scope=sub&pt'
json_titulos = requests.get(url_titulos.format(pesquisa=23, posicao=1)).json()
titulo = {} # converte em dict id -> indicador
while json_titulos:
l = json_titulos.pop()
titulo[l['id']] = l['indicador']
json_titulos[:0] = l['children']
dados = requests.get(url_dados.format(
pesquisa=23, posicao=1, localidades=120040)).json()
for info in dados:
print(titulo[info['id']], '-->', info['res'][0]['res']['2010'])
O resultado:
Coletivos --> 79
Com morador --> 39
Sem morador --> 40
Ocupados --> 94397
Com entrevista realizada --> 90598
Sem entrevista realizada --> 3799
Não ocupados --> 12699
Uso ocasional --> 2322
Vagos --> 10377
Recenseados --> 107175
População residente --> 336038
Masculino --> 163592
Menos de 1 ano de idade --> 2889
1 a 4 anos de idade --> 12547
5 a 9 anos --> 16319
10 a 14 anos de idade --> 17935
...
Urbana --> 308545
Rural --> 27493
Média de moradores em domicílios particulares ocupados --> 3.54