Estou realizando um scraping de matérias de um jornal pernambucano (Diário de PE) conforme uma busca que fiz com algumas palavras-chave sobre o assunto de interesse. A busca do jornal retorna 10 resultados em uma página com HTML dinamico, contendo, ao final, uma lista com todas as paginas de resultados, numeradas de 1 a 10.
Quanto à 1ª pagina, eu consegui fazer o scraping do trecho que desejo do HTML utilizando o Selenium em Python sem grandes problemas, mas estou tendo problemas para acessar as demais páginas a partir da lista gerada.
As referências para as próximas páginas estão em tags <div class="gsc-cursor-page" aria-label="Página 2" role="link" tabindex="0">2</div>
(tomando como exemplo a referência para a 2ª pg.). Não há uma tag âncora <a>
associada a um href gerando o hiperlink para a próxima pagina e nem um botão "próxima". Vide um exemplo disso na imagem abaixo.
Minha estratégia: criei uma função que pegar as referências das páginas nessas divs dando os caminhos através do XPATH. Essas referências foram armazenadas em uma lista, e criei um laço 'for' para iterar referencia após referência, utilizando a função click() do Selenium para acessá-las. Criei essa estratégia baseado em várias dicas dadas no próprio Stackoverflow (versão em inglês) e infelizmente ela não funcionou, e só a 2ª página é retornada (além da 1ª).
Abaixo estão os código das duas funções que criei, a primeira para pegar o HTML da 1ª página, e a segunda para fazer isso nas demais, usando a lista que comentei.
Bibliotecas importadas:
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
import time
Primeira função para fazer o scraping do HTML da área desejada na página inicial de resultados da busca:
def get_target_html(url):
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(options=chrome_options)
wait = WebDriverWait(driver, 10)
driver.get(url)
#Finding target HTML
site_html = wait.until(lambda driver: driver.find_element_by_xpath('//div[@class="gsc-expansionArea"]').get_attribute('innerHTML'))
driver.close()
with open('target_page_1.html', 'wt', encoding='utf-8') as file:
file.write(site_html)
Segunda função para navegar para as demais páginas e fazer o scraping do HTML:
def get_next_pages(url):
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(options=chrome_options)
driver.get(url)
#Creating a list that receives all elements according to the given XPATH
page_list = driver.find_elements_by_xpath('//div[@class="gsc-cursor-page"]')
#Reading each element in the list to access the related page and get the target HTML code
count = 1
for page in page_list:
count += 1
number = str(count)
page.click()
time.sleep(10)
target_html = driver.find_element_by_xpath('//div[@class="gsc-expansionArea"]').get_attribute('innerHTML')
#Writing and saving a html file with the target code
with open(f'target_page_{number}.html', 'wt', encoding='utf-8') as file:
file.write(target_html)
driver.close()
print('Finished')
Em seguida, chamei as duas funções fornecendo a URL inicial (https://www.diariodepernambuco.com.br/capa_busca.html?q=seguran%C3%A7a&q=seguran%C3%A7a%20%2B%20p%C3%BAblica%20%2B%20pernambuco&q=%22seguran%C3%A7a%20p%C3%BAblica%22%20%2B%20pernambuco&q=%22seguran%C3%A7a%20p%C3%BAblica%22%20%2B%20crime*%20%2B%20pernambuco).
A excessão que foi retornada:
File "C:\Users\Victor\OneDrive\Scrapy Projects\Corpus_Jornais\teste_selenium_diariodepernambuco5.py", line 57, in <module>
get_next_pages(url)
File "C:\Users\Victor\OneDrive\Scrapy Projects\Corpus_Jornais\teste_selenium_diariodepernambuco5.py", line 40, in get_next_pages
page.click()
File "C:\Users\Victor\anaconda3\envs\py36\lib\site-packages\selenium\webdriver\remote\webelement.py", line 80, in click
self._execute(Command.CLICK_ELEMENT)
File "C:\Users\Victor\anaconda3\envs\py36\lib\site-packages\selenium\webdriver\remote\webelement.py", line 633, in _execute
return self._parent.execute(command, params)
File "C:\Users\Victor\anaconda3\envs\py36\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute
self.error_handler.check_response(response)
File "C:\Users\Victor\anaconda3\envs\py36\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
StaleElementReferenceException: stale element reference: element is not attached to the page document
(Session info: headless chrome=84.0.4147.89)
Entendo que através dessa excessão StaleElementReferenceException
, é informado que o objeto desejado para o click() não está mais disponível, contudo creio que ele esteja na lista para ser acessado. Rodei o código da 2ª função em isolado, e depois pedi o tamanho da lista (len(page_list)
), retornando a quantidade exata de referências que foram coletadas (=9).
Alguém teria alguma dica sobre como lidar com esse problema?