-3

Boa tarde! Estou estruturando um bot de coleta de dados, mas como o site que estou fazendo a raspagem demora as vezes pra carregar ou nem carrega, o bot da erro por não encontrar o XPath. Assim que der esse erro estou tentando fazer um loop para dar refresh na página até encontrar o XPath esperado. segue abaixo a parte do código que estou com dificuldade caso o site não carregue o XPath

driver.get(URL)
driver.find_element(By.XPATH,"*****").send_keys(user)
driver.find_element(By.XPATH,"*****").send_keys(password)

time.sleep(5)

Tabela_mercado = driver.find_element(By.XPATH,"*****table")
Htmlcontent = tabela_mercado.get_attribute("outerHTML")
soup = Beautifulsoup(Htmlcontent, "html.parser")
Table_Dados = soup.find(name="table")
df(pd.read_html(str(Table_Dados))[0]
df.to_csv("Dados de mercado.csv", encoding="UTF-8", sep=";")

Agradeço a ajuda! 

1 Resposta 1

-2

Eu recomendo você usar o WebDriverWait

Ele vai esperar o elemento pelo tempo que você passar.

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

element =WebDriverWait(driver, timeout=10).until(EC.presence_of_element_located(("COLOCA SEU XPATH AQUI")))

Agora ele vai esperar 10 segundos até o elemento aparecer, mas se mesmo assim você quiser recarregar a pagina use: driver.refresh()

OBS: Onde eu coloquei "COLOCA SEU XPATH AQUI tem que ser uma tupla tipo assim:

(By.XPATH,"//h1")

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .