-1

Tenho um código de WebSacraping, utilizando o loop for, ele busca e retorna varios DataFrames com as informações, gostaria de salva-las em excel, porem quando utilizo a fórmula to_excel, ele salva substituindo a informação anterior, preciso que ele continue preenchendo a planilha com os dados novos ao invés de substituílos, Segue Código:

for i in dados_gsheet.index:
      produto = dados_gsheet.loc[i, 'Descritivo']
      browser.get('https://shopping.google.com/?nord=1')
      pesquisa = WebDriverWait(browser, 120).until(lambda x: x.find_element(By.XPATH, '//*[@id="REsRA"]'))
      pesquisa.send_keys(produto)
      pesquisa.send_keys(Keys.ENTER)
  try:
       Item_1 = browser.find_element(By.XPATH, 
      '//*[@id="rso"]/div[2]/div[2]/div/div[1]/div[1]/div[2]/span/a/div[1]/h4').text
       Valor_1 = browser.find_element(By.XPATH, 
      '//*[@id="rso"]/div[2]/div[2]/div/div[1]/div[1]/div[2]/div[2]/span/div[1]/a[1]/div[2]/span/span/span[1]/span').text
       Link_1 = browser.find_element(By.XPATH, 
      '//*[@id="rso"]/div[2]/div[2]/div/div[1]/div[1]/div[2]/div[2]/span/div[1]/a[2]').get_attribute('href')
       Item_2 = browser.find_element(By.XPATH, 
      '//*[@id="rso"]/div[2]/div[2]/div/div[2]/div[1]/div[2]/span/a/div[1]/h4').text
       Valor_2 = browser.find_element(By.XPATH, 
     '//*[@id="rso"]/div[2]/div[2]/div/div[2]/div[1]/div[2]/div[2]/span/div[1]/a[1]/div[2]/span/span/span[1]/span').text
       Link_2 = browser.find_element(By.XPATH, 
     '//*[@id="rso"]/div[2]/div[2]/div/div[2]/div[1]/div[2]/div[2]/span/div[1]/a[2]').get_attribute('href')
       Item_3 = browser.find_element(By.XPATH, 
     '//*[@id="rso"]/div[2]/div[2]/div/div[3]/div[1]/div[2]/span/a/div[1]/h4').text
       Valor_3 = browser.find_element(By.XPATH, 
     '//*[@id="rso"]/div[2]/div[2]/div/div[3]/div[1]/div[2]/div[2]/span/div[1]/a[1]/div[2]/span/span/span[1]/span').text
       Link_3 = browser.find_element(By.XPATH, 
     '//*[@id="rso"]/div[2]/div[2]/div/div[3]/div[1]/div[2]/div[2]/span/div[1]/a[2]').get_attribute('href')
       Item_4 = browser.find_element(By.XPATH, 
     '//*[@id="rso"]/div[2]/div[2]/div/div[4]/div[1]/div[2]/span/a/div[1]/h4').text
       Valor_4 = browser.find_element(By.XPATH, 
     '//*[@id="rso"]/div[2]/div[2]/div/div[4]/div[1]/div[2]/div[2]/span/div[1]/a[1]/div[2]/span/span/span[1]/span').text
       Link_4 = browser.find_element(By.XPATH, 
     '//*[@id="rso"]/div[2]/div[2]/div/div[4]/div[1]/div[2]/div[2]/span/div[1]/a[2]').get_attribute('href')
       Item_5 = browser.find_element(By.XPATH, 
     '//*[@id="rso"]/div[2]/div[2]/div/div[5]/div[1]/div[2]/span/a/div[1]/h4').text
       Valor_5 = browser.find_element(By.XPATH, 
     '//*[@id="rso"]/div[2]/div[2]/div/div[5]/div[1]/div[2]/div[2]/span/div[1]/a[1]/div[2]/span/span/span[1]/span').text
       Link_5 = browser.find_element(By.XPATH, 
     '//*[@id="rso"]/div[2]/div[2]/div/div[5]/div[1]/div[2]/div[2]/span/div[1]/a[2]').get_attribute('href')
       pro = Item_1, Item_2, Item_3, Item_4, Item_5 
       val = Valor_1, Valor_2, Valor_3, Valor_4, Valor_5
       lin = Link_1, Link_2, Link_3, Link_4, Link_5
       Conclusão = pd.DataFrame({'Produto': pro,'Preço': val,'Url': lin})
       display(Conclusão)
       planilha1 = Conclusão.to_excel('teste.xlsx')
       time.sleep(15)
  except NoSuchElementException:
       print('Não encontrado')

inserir a descrição da imagem aqui

1 Resposta 1

1

O dataframe é um objeto mutável, veja aqui

A solução para seu caso é:

# cria um objeto tipo lista
dfs = []

# itera
for i in dados_gsheet.index:
    (...)
    # adiciona resultado à lista
    dfs.append(pd.DataFrame({'Produto': pro,'Preço': val,'Url': lin}))

# após o loop concatena dfs
df_final = pd.concat(dfs)

# salva em Excel
df_final.to_excel('teste.xlsx')

IMPORTANTE

Caso você associe o resultado a uma variável e depois acrescente a mesma à lista NÃO funcionará

# ISSO É ERRADO
for i in .....:
     conclusao = pd.DataFrame(.....)
     dfs.append(conclusao)

df_final = pd.concat(dfs)

Caso você queira fazer algo como acima, apague a variável da memória.

# POSSÍVEL
for i in .....:
     conclusao = pd.DataFrame(.....)
     dfs.append(conclusao)
     del(conclusao)

df_final = pd.concat(dfs)

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .