0

Sou iniciante em web scraping. Como aprendizado to fazendo um banco de dados a partir de dados sobre venda de carros seminovos em alguns sites. Um dos sites eh esse

url = https://www.seminovosunidas.com.br/veiculos/page:1?utm_source=afilio&utm_medium=display&utm_campaign=maio&utm_content=ron_ambos&utm_term=120x600_promocaomaio_performance_-_-%22

Consigo pegar os dados que preciso da pagina normalmente. Para iterar uso um url.format passando como argumento um indice que vai incrementando a pagina.

O codigo completo:

import requests as req
from bs4 import BeautifulSoup as bs

def get_unidas():
    url = "https://www.seminovosunidas.com.br/veiculos/page:{}?utm_source=afilio&utm_medium=display&utm_campaign=maio&utm_content=ron_ambos&utm_term=120x600_promocaomaio_performance_-_-"
    indice_pagina = 1
    dados = {}
    while True:
        #headers = {'User-Agent':random.choice(user_agent_list)}
        r = req.get(url.format(indice_pagina))
        if r.status_code != req.codes.ok:
            raise Exception("Página inexistente") 
        soup = bs(r.text, "lxml")
        carros = soup.find_all(class_="vehicleDescription")
        valores = soup.find_all(class_="valor")
        for carro, valor in zip(carros,valores):
            texto = list(carro.stripped_strings)
            dados["Empresa"] = "Unidas"
            dados["Modelo"] = texto[2]
            dados["Preco"] = valor.text.replace(".","").replace(",",".")
            dados["Kilometragem"] = texto[4].split(",")[1][5:]
            dados["Ano"] = texto[3][-5:-1]
            #print(dados)
            #print("#######################################")        

get_unidas()

O problema eh sei que nao como fazer para o while acabar. Ao acessar uma pagina com indice inexistente, indice 200 por exemplo, ele volta pra pagina 1. Normalmente uma pagina nao existente tem o HTML diferente, logo consigo diferenciar de uma pagina que existe. Mesmo checando o status_code ao acessar uma pagina nao existente eh retornado 200, o codigo que indica pagina existente

1 Resposta 1

1

Quando você está em uma página, é setado o valor active no atributo da tag li da paginação:

<ul class="list-unstyled list-inline header-paginator pull-right">
  <li class="active number"><a>1</a></li>
  <li class="number"><a href="/veiculos/page:2?utm_source=afilio&amp;utm_medium=display&amp;utm_campaign=maio&amp;utm_content=ron_ambos&amp;utm_term=120x600_promocaomaio_performance_-_-%22">2</a></li>
  <li class="number"><a href="/veiculos/page:3?utm_source=afilio&amp;utm_medium=display&amp;utm_campaign=maio&amp;utm_content=ron_ambos&amp;utm_term=120x600_promocaomaio_performance_-_-%22">3</a></li>
  <li class="disabled"><a>...</a></li>
  <li class="number"><a href="/veiculos/page:106?utm_source=afilio&amp;utm_medium=display&amp;utm_campaign=maio&amp;utm_content=ron_ambos&amp;utm_term=120x600_promocaomaio_performance_-_-%22">106</a></li>
</ul>

Então, em vez de verificar o status_code, você pode busca o elemento li.active.number e verificar o texto, se o indice atual for maior ou igual a 2 e o valor do elemento for igual a 1, você finaliza o loop.

Remova as linhas:

if r.status_code != req.codes.ok:
  raise Exception("Página inexistente")

e abaixo da linha:

soup = bs(r.text, "lxml")

coloque:

pagina_atual = list(soup.find(class_="active number").stripped_strings)[0]
if indice_pagina >= 2 and pagina_atual == '1': break

também não esqueça de fazer o incremento em indice_pagina, caso contrário irá ficar em loop infinito, após for coloque:

indice_pagina += 1

Veja funcionando em repl.it

1
  • Muito obrigado, cara. Funcionou direitinho Commented 19/05/2018 às 6:53

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .