Como navegar por páginas que estão numa barra de um web page?
Caso concreto: Ao realizar um consulta no site do TCM-Ba, na página que registra as despesas dos municípios, é possível acessar algumas informações. Ocorre que a página do TCM limita o resulta de cada página em 20 registros (linhas). Se o usuário quiser ter acesso aos outros dados, ele tem que navegar por uma barra com as páginas subsequentes (ver imagem abaixo):
Link: Aqui
Link: Aqui
É possível perceber o link acima que para acessar a página, usa-se o protocolo GET. Ao navegar entre as páginas, verifica-se que a única variável que se altera é a "pag=". O problema é que cada município + entidade (prefeitura ou câmara) irá apresentar um número variado de páginas.
Cheguei a imaginar a possibilidade criar um loop para raspar esses dados... daí, quando o Web Scraping identificasse que seria a última página... ele pularia (next) para o próximo contador do loop (que no caso seria o próximo município).
Para identificar essa última página, pensei em colocar um tratamento de erro se o número da página fosse inválido, ex: 27
Contudo, o que aparece é essa página(imagem abaixo). Pensei também em colocar um IF para identificar se a TAG (#tabelaResultado) da tabela aparecia ou não... mas, mesmo numa página que não tem resultados, a tag aparece (imagem abaixo).
Link: Aqui