-1

Estou fazendo um Web Scrap utilizando Python e Pandas, no Windows. Estou fazendo a coleta dos dados da página, gerando um DataFrame no Pandas e depois exportando para uma planilha Excel. Não estou utilizando nenhum banco de dados neste caso. Estou com dois problemas:

  1. Preciso coletar o nome e preço do produto, mas na página do site, alguns produtos não tem o preço.....então o dataframe pega o preço do produto seguinte e joga no produto que tem o preço nulo, gerando informação errada. Como posso fazer para corrigir isto?

  2. No mesmo caso, o preço no site tem o preço separado dos centavos, cada um em uma classe diferente do código HTML. Consigo recuperar as duas informações, mas como faço para concatenar? Fica muito ruim uma coluna com o preço e outra com os centavos.....

Segue parte do código que estou utilizando:

import pandas as pd
import requests
from bs4 import BeautifulSoup

url = 'https://www.s_2'
page = requests.get(url)

soup = BeautifulSoup(page.text,'html.parser')

review_text = []
review_text_elem = soup.find_all(class_='a-link-normal a-text-normal')

for item in review_text_elem:
    review_text.append(item.text)

user_name = []
user_name_elem = soup.find_all(class_='a-price-whole')

for item in user_name_elem:
    user_name.append(item.text)

review_price = []
review_price_elem = soup.find_all(class_='a-price-fraction')

for item in review_price_elem:
    review_price.append(item.text)
    print(review_price)

final_array = []

for text, user, cents in zip(review_text, user_name,review_price):
    
    final_array.append({'Produto': text.replace("\n", ""), 'Preço': user, 'Centavos': cents})
    
col = 'Produto Preço Centavos'.split()

df = pd.DataFrame(final_array, columns= col)
print(df)
    
df.to_excel('amazonpanda4.xlsx',index=False)
3
  • Vc pode formatar o código colocando 3 crases antes e 3 depois. Formatação no Python é essencial. Commented 15/10/2020 às 14:56
  • Ola Paulo obrigada pela ajuda!! Você poderia me dar um exemplo de como ficaria esta solução para eu entender melhor? Obrigada!!! Commented 15/10/2020 às 16:47
  • Daniela, boa noite! A questão ja foi resolvida? Caso não tenha resolvido poderia colocar de qual página você precisa extrair os dados? Commented 15/10/2020 às 22:37

1 Resposta 1

0

Sem saber a estrutura da página web que você está coletando os dados, fica complicado de ajudar.

Entretanto, acredito que a lógica utilizada seja o problema.

Veja o exemplo abaixo:

from bs4 import BeautifulSoup

html = """
<html>
    <body>
        <span>
            <p id="nome">Banana</p>
            <p id="preco">10</p>
        </span>
        <span>
            <p id="nome">Abacaxi</p>
        </span>
        <span>
            <p id="nome">Morango</p>
            <p id="preco">20</p>
        </span>
    </body>
</html>
"""

soup = BeautifulSoup(html)

Com esta página, se vc pegar todos (find_all) os id=nome você terá:

>>> soup.find_all("p", {"id": "nome"})
[<p id="nome">Banana</p>, <p id="nome">Abacaxi</p>, <p id="nome">Morango</p>]

E fazendo o mesmo com i id=preco

>>> soup.find_all("p", {"id": "preco"})
[<p id="preco">10</p>, <p id="preco">20</p>]

E é aí que está o problema. Pois, quando você junta os dois, terá:

Banana => 10
Abacaxi => 20
Morango => null (nan)

A solução teria que ser como:

>>> span_soup = soup.find_all("span")

>>> for sp in span_soup:
...     item = sp.find('p', {"id": "nome"})
...     preco = sp.find('p', {"id": "preco"})
...     print(item, preco)
...
<p id="nome">Banana</p> <p id="preco">10</p>
<p id="nome">Abacaxi</p> None
<p id="nome">Morango</p> <p id="preco">20</p>

É claro que a saída tem que ser tratada, pegar apenas o texto e jogar no pandas. Mas, acho que o caminhpo é esse.

Espero ter ajudado.

2
  • Nossa, Paulo, ajudou muito!!!! Valeu mesmo pela força1! Vou tentar este caminho!!! Obrigada!!! Commented 15/10/2020 às 18:03
  • Que bom Daniela. Sendo assim, não esqueça de marcar minha resposta. :) Commented 15/10/2020 às 18:21

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .