3

Como navegar por páginas que estão numa barra de um web page?

Caso concreto: Ao realizar um consulta no site do TCM-Ba, na página que registra as despesas dos municípios, é possível acessar algumas informações. Ocorre que a página do TCM limita o resulta de cada página em 20 registros (linhas). Se o usuário quiser ter acesso aos outros dados, ele tem que navegar por uma barra com as páginas subsequentes (ver imagem abaixo):

inserir a descrição da imagem aqui

Link: Aqui

inserir a descrição da imagem aqui

Link: Aqui

É possível perceber o link acima que para acessar a página, usa-se o protocolo GET. Ao navegar entre as páginas, verifica-se que a única variável que se altera é a "pag=". O problema é que cada município + entidade (prefeitura ou câmara) irá apresentar um número variado de páginas.

Cheguei a imaginar a possibilidade criar um loop para raspar esses dados... daí, quando o Web Scraping identificasse que seria a última página... ele pularia (next) para o próximo contador do loop (que no caso seria o próximo município).

Para identificar essa última página, pensei em colocar um tratamento de erro se o número da página fosse inválido, ex: 27

Contudo, o que aparece é essa página(imagem abaixo). Pensei também em colocar um IF para identificar se a TAG (#tabelaResultado) da tabela aparecia ou não... mas, mesmo numa página que não tem resultados, a tag aparece (imagem abaixo).

inserir a descrição da imagem aqui

Link: Aqui

1 Resposta 1

1

Há diversas formas de solução, nesta verifico se há conteúdo nas tags <td>. Observe que o resultado da tabela1 tem o tamanho de 180 (total de dados da tabela) e a tabela2 tem o tamanho de 0. Logo, pode utilizar a igualdade por zero para dar break no seu loop.

library(XML)

# padrão de seleção do html
xp <- "//*[@id='tabelaResultado']//td"

# exemplo página 21
site <- paste0("http://www.tcm.ba.gov.br/consulta-de-despesas/", 
               "?txtEntidade=Camara%20Municipal%20de%20SANTO%20ANTONIO%20DE%20JESUS&ano=2017",
               "&favorecido=&entidade=763&orgao=&orcamentaria=&despesa=&recurso=&desp=P",
               "&dtPeriodo1=&dtPeriodo2=&pg=21")
h <- htmlParse(site)
tabela1 <- xpathSApply(h, path = xp)


# exemplo página 27

site <- paste0("http://www.tcm.ba.gov.br/consulta-de-despesas/", 
               "?txtEntidade=Camara%20Municipal%20de%20SANTO%20ANTONIO%20DE%20JESUS&ano=2017",
               "&favorecido=&entidade=763&orgao=&orcamentaria=&despesa=&recurso=&desp=P",
               "&dtPeriodo1=&dtPeriodo2=&pg=27")

h <- htmlParse(site)
tabela2 <- xpathSApply(h, path = xp)
1
  • Excelente!!! Muito obrigado. Funcionou perfeitamente!!! Commented 23/11/2017 às 17:27

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .