Estou tentando obter os discursos dos deputados, que pode ser encontrado aqui. O site possui várias páginas (1 ate 300 +/-) e em cada página possuí uma tabela com um "resumo" das informações, com 50 linhas. Cada linha tem um link que abre a integra do discurso do deputado X. O que estou tentando fazer: Salvar essa tabela com o "resumo" -> clicar na integra do discurso do deputado X -> salvar a integra do discurso X -> voltar para a página anterior com os "resumos" -> clicar na integra do discurso Y -> salvar -> voltar.... -> ir para a próxima página e repetir todo o processo até a última página.
Para isso tentei utilizar o seguinte loop:
tabela=[]
html_element=[]
item=[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,
30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50]
while True:
try:
for i in item:
if i < 50:
WebDriverWait(driver, 15).until(
EC.presence_of_element_located((By.XPATH, "//*[@id='content']/div/table/tbody")))
driver.find_elements_by_class_name("glyphicon.glyphicon-file")[i].click()
WebDriverWait(driver, 15).until(
EC.presence_of_element_located((By.ID, "content")))
html_element.append(driver.find_element_by_xpath("//*[@id='content']").get_attribute('outerHTML'))
driver.execute_script("window.history.go(-1)")
WebDriverWait(driver, 15).until(
EC.presence_of_element_located((By.XPATH, "//*[@id='content']/div/table/tbody")))
elif i == 50:
tabela.append(driver.find_element_by_xpath("//*[@id='content']/div/table"))
WebDriverWait(driver, 15).until(
EC.presence_of_element_located((By.XPATH, "//*[@id='content']/div/table/tbody")))
driver.execute_script("return arguments[0].scrollIntoView(true);", WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//*[@title='Próxima Página']"))))
driver.find_element_by_xpath("//*[@title='Próxima Página']").click()
print("Próxima página")
except (TimeoutException, WebDriverException) as e:
print("Última página")
break
Ele funciona parcialmente, eu consigo obter a integra do discurso do deputado. Porém não estou conseguindo ir para a próxima página ou avança duas, e tem momentos em que ele volta duas páginas o que acaba resultando em dados errados.