Estou fazendo um Web Scrap utilizando Python e Pandas, no Windows. Estou fazendo a coleta dos dados da página, gerando um DataFrame no Pandas e depois exportando para uma planilha Excel. Não estou utilizando nenhum banco de dados neste caso. Estou com dois problemas:
Preciso coletar o nome e preço do produto, mas na página do site, alguns produtos não tem o preço.....então o dataframe pega o preço do produto seguinte e joga no produto que tem o preço nulo, gerando informação errada. Como posso fazer para corrigir isto?
No mesmo caso, o preço no site tem o preço separado dos centavos, cada um em uma classe diferente do código HTML. Consigo recuperar as duas informações, mas como faço para concatenar? Fica muito ruim uma coluna com o preço e outra com os centavos.....
Segue parte do código que estou utilizando:
import pandas as pd
import requests
from bs4 import BeautifulSoup
url = 'https://www.s_2'
page = requests.get(url)
soup = BeautifulSoup(page.text,'html.parser')
review_text = []
review_text_elem = soup.find_all(class_='a-link-normal a-text-normal')
for item in review_text_elem:
review_text.append(item.text)
user_name = []
user_name_elem = soup.find_all(class_='a-price-whole')
for item in user_name_elem:
user_name.append(item.text)
review_price = []
review_price_elem = soup.find_all(class_='a-price-fraction')
for item in review_price_elem:
review_price.append(item.text)
print(review_price)
final_array = []
for text, user, cents in zip(review_text, user_name,review_price):
final_array.append({'Produto': text.replace("\n", ""), 'Preço': user, 'Centavos': cents})
col = 'Produto Preço Centavos'.split()
df = pd.DataFrame(final_array, columns= col)
print(df)
df.to_excel('amazonpanda4.xlsx',index=False)