Sou iniciante em web scraping. Como aprendizado to fazendo um banco de dados a partir de dados sobre venda de carros seminovos em alguns sites. Um dos sites eh esse
url = https://www.seminovosunidas.com.br/veiculos/page:1?utm_source=afilio&utm_medium=display&utm_campaign=maio&utm_content=ron_ambos&utm_term=120x600_promocaomaio_performance_-_-%22
Consigo pegar os dados que preciso da pagina normalmente. Para iterar uso um url.format passando como argumento um indice que vai incrementando a pagina.
O codigo completo:
import requests as req
from bs4 import BeautifulSoup as bs
def get_unidas():
url = "https://www.seminovosunidas.com.br/veiculos/page:{}?utm_source=afilio&utm_medium=display&utm_campaign=maio&utm_content=ron_ambos&utm_term=120x600_promocaomaio_performance_-_-"
indice_pagina = 1
dados = {}
while True:
#headers = {'User-Agent':random.choice(user_agent_list)}
r = req.get(url.format(indice_pagina))
if r.status_code != req.codes.ok:
raise Exception("Página inexistente")
soup = bs(r.text, "lxml")
carros = soup.find_all(class_="vehicleDescription")
valores = soup.find_all(class_="valor")
for carro, valor in zip(carros,valores):
texto = list(carro.stripped_strings)
dados["Empresa"] = "Unidas"
dados["Modelo"] = texto[2]
dados["Preco"] = valor.text.replace(".","").replace(",",".")
dados["Kilometragem"] = texto[4].split(",")[1][5:]
dados["Ano"] = texto[3][-5:-1]
#print(dados)
#print("#######################################")
get_unidas()
O problema eh sei que nao como fazer para o while acabar. Ao acessar uma pagina com indice inexistente, indice 200 por exemplo, ele volta pra pagina 1. Normalmente uma pagina nao existente tem o HTML diferente, logo consigo diferenciar de uma pagina que existe. Mesmo checando o status_code ao acessar uma pagina nao existente eh retornado 200, o codigo que indica pagina existente