0

Estou querendo pegar alguns dados por cidade (todas as mais de 5 mil cidades brasileiras) do site do IBGE.

Ex. de url: https://cidades.ibge.gov.br/brasil/ac/rio-branco/pesquisa/23/27652 ou https://cidades.ibge.gov.br/brasil/ac/rio-branco/pesquisa/23/27652?detalhes=true

driver = webdriver.Chrome()
driver.get('https://cidades.ibge.gov.br/brasil/es/atilio-vivacqua/pesquisa/23/27652')
soup = BeautifulSoup(driver.page_source, 'html.parser')
div_conteudo = soup.find('div', class_='conteudo')

Eu quero pegar os valores de sexo, entre outros, e essa tabela contendo os valores é justamente o que não é retornado. Essa parte possui um evento onEmpty, que é a única coisa que vejo que pode estar atrapalhando.

Vou colocar parte do retorno.

inserir a descrição da imagem aqui

No código da página aparece assim inserir a descrição da imagem aqui

Depois do fechamento da tag </pesquisa-header> e antes do fechamento da tag </pesquisa> deve iniciar a tag <pesquisa-tabela> como na imagem 2, mas não aparece no retorno

0

1 Resposta 1

0

Bom, como você já deve saber, ao acessar uma URL o navegador carrega o código HTML que é um texto, e gera uma árvore de objetos na memória, o famoso DOM.

O problema é que, na página do IBGE que você está tentando acessar, após o DOM ser criado na memória, é executado código javascript que modifica os objetos diretamente nessa árvore.

Isso quer dizer que os elementos que você está tentando ler não existem no código fonte da página - somente após a página ser carregada e o javascript executar é que estes elementos serão criados, dinamicamente.

O BeautifulSoup tenta fazer o mesmo que um navegador, lê o código fonte em texto HTML e gera uma árvore de objetos na memória do python - porém com uma diferença: Como o BeautifulSoup não executa javascript, estes elementos dinâmicos não vão estar presentes neste caso. Você terá acesso somente aos dados que vieram no código-fonte da página.

Por isso, ao invés de recuperar o código-fonte da página, parseá-lo com o BeautifulSoup, e gerar um DOM no python, a forma de usar o Selenium corretamente é acessar o DOM que já está na memória do navegador, pois o navegador executa javascript e possui os elementos que você quer.

Para fazer isso existem funções do Selenium que acessam o DOM do navegador diretamente. O código abaixo deve retornar todas as tags pesquisa-tabela:

tags = driver.find_elements_by_name('pesquisa-tabela')

Com isso você evita também o duplo parseamento do HTML já que não vai ter que executar o BeautifulSoup; Afinal o navegador já fez esse trabalho.

Uma outra forma de pegar o conteúdo após a execução do javascript é usar código javascript injetado no navegador:

codigo_html = driver.execute_script("return document.getElementsByTagName('html')[0].innerHTML")

OBS: Lembrando que esses dois métodos podem falhar caso o seu script esteja rápido demais e o javascript não tenha executado ainda. Talvez você terá que esperar o javascript terminar de executar usando uma das funções de espera do selenium, ou até mesmo time.sleep().

Porém, no caso do site do IBGE, você está com sorte. Tudo isso é dispensável, pois o IBGE possui uma API acessível ao público!! https://servicodados.ibge.gov.br/api/docs/pesquisas?versao=1

Usando a API é muito melhor, pois é uma forma estável, segura e suportada pelo próprio IBGE de fornecer os dados. Algumas vantagens:

  • Não precisa abrir navegador
  • Não precisa extrair os dados no meio de tags, já que as APIs já retornam tudo em JSON.
  • Não ter que preocupar com mudanças de layout da página, onde o seu script pararia de funcionar e precisaria de manutenção.
  • Usa menos memória
  • Menos recursos de rede pois não precisa baixar imagens e arquivos desnecessários, vai direto na informação

Por exemplo, para pegar os dados da página que você listou acima (Censo 2010 de Rio Branco), seria:

import requests
api_pesquisas =  'https://servicodados.ibge.gov.br/api/v1/pesquisas/{pesquisa}/'
url_titulos = api_pesquisas + 'periodos/all/indicadores/{posicao}?scope=sub&lang=pt'
url_dados = api_pesquisas + 'indicadores/{posicao}/resultados/{localidades}?scope=sub&pt'

json_titulos = requests.get(url_titulos.format(pesquisa=23, posicao=1)).json()

titulo = {} # converte em dict id -> indicador
while json_titulos:
    l = json_titulos.pop()
    titulo[l['id']] = l['indicador']
    json_titulos[:0] = l['children']

dados = requests.get(url_dados.format(
    pesquisa=23, posicao=1, localidades=120040)).json()

for info in dados:
    print(titulo[info['id']], '-->', info['res'][0]['res']['2010'])

O resultado:

Coletivos --> 79
Com morador --> 39
Sem morador --> 40
Ocupados --> 94397
Com entrevista realizada --> 90598
Sem entrevista realizada --> 3799
Não ocupados --> 12699
Uso ocasional --> 2322
Vagos --> 10377
Recenseados --> 107175
População residente --> 336038
Masculino --> 163592
Menos de 1 ano de idade --> 2889
1 a 4 anos de idade --> 12547
5 a 9 anos --> 16319
10 a 14 anos de idade --> 17935
...
Urbana --> 308545
Rural --> 27493
Média de moradores em domicílios particulares ocupados --> 3.54
2
  • Estou tentando usar essa API, mas está difícil. A maior parte do tempo recebo Response 500. De qualquer forma consegui recuperar o que queria com o selenium mesmo. Acho que eu só estava usando o time.sleep() no lugar errado. Já fiz tanta modificação que nem me lembro mais.
    – Sam Rds
    Commented 28/01/2019 às 16:20
  • @SamRds como a página do IBGE também usa essa API, ao usar a API diretamente você está somente evitando um passo - se está recebendo erro 500, receberia esse mesmo erro também pelo selenium. Talvez pelo fato de ser muito mais rápido usar a API, esteja enviando solicitações demais e o servidor está te barrando. Tente colocar um time.sleep() também na versão API.
    – nosklo
    Commented 28/01/2019 às 17:21

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .