-1

Preciso extrair os dados de venda de carros seminovos em alguns sites.

Um dos sites é o da empresa Locamerica. Porém, no site dela não aparece no HTML da página o conteúdo que eu preciso extrair.

Preciso extrair os dados de cada carro presente na página, porem eles não aparecem no HTML. Nem mesmo links externos para a página de carro aparecem.

Baixei o codigo fonte, executei ele e aparece o mesmo site porem sem nenhum carro. Link do HTML que aparece pra mim

Estou programando em python e utilizo Requests pra pegar o HTML da página e Beutiful Soup pra fazer a extração dos dados que eu preciso.

O codigo

import requests as req
from bs4 import BeautifulSoup as bs

url = "https://seminovos.locamerica.com.br/seu-carro?combustivel=&cor=&q=&cambio=&combustiveis=&cores=&acessorios=&estado=0&loja=0&marca=0&modelo=0&anode=&anoate=&per_page={}&precode=0&precoate=0"
indice_pagina = 1

r = req.get(url.format(indice_pagina))
print(r.text)
4
  • Como não aparecem? Eu entrei la e inspecionei o código e tudo esta lá... preço imagem, etc etc, inclusive eles usam Bootstrap...
    – hugocsl
    Commented 19/05/2018 às 21:48
  • Nao sou desenvolvedor web. Lido mais com a parte de analise de dados. Eu realmente nao estou vendo esses detalhes. Eh algo relacionado com Bootstrap? Commented 19/05/2018 às 21:57
  • Entra no site deles, aperta ctrl+u que vai abrir o código fonte da página, depois aperta ctrl+f e pesquisa por preço por exemplo e vc vai ver que esta la... Eu vi que eles usam bootstrap pq esta cheio de classes que eles tb usam no framework deles
    – hugocsl
    Commented 19/05/2018 às 22:04
  • Pesquisei preço e deu 43 matches, mas nenhum com que eu queria. Baixei o codigo fonte, executei ele e abriu a pagina sem os carros. Commented 19/05/2018 às 22:09

1 Resposta 1

2

Isso acontece porque a página inicialmente não contém as informações sobre os carros. Ela é carregada vazia, e depois usa JavaScript pra carregar os dados dinamicamente e os inserir na página.

Um dos jeitos de se contornar isso é usando um webdriver como o Selenium. Basicamente, você roda um navegador que é controlado pelo seu programa Python.

Quando possível, é melhor evitar isso, porém; por rodar um navegador inteiro, que carrega todas as imagens e scripts e propagandas, o processo fica consideravelmente mais lento do que só usar requisições simples.

O que se pode fazer é abrir as ferramentas de desenvolvedor do seu navegador, abrir a aba Rede (Network) e observar as requisições que seu navegador faz enquanto carrega a página. Às vezes o que carrega o conteúdo interessante é uma simples chamada a uma API do site. Nesse caso, você pode fazer sua requisição pra essa API.

Fiz isso e vi algumas coisas que pareciam interessantes:

inserir a descrição da imagem aqui

As outras requisições JSON não são interessantes; parecem as opções de filtragem e as concessionárias. Esse outro me pareceu um pouco estranho; não trazia diretamente as informações dos carros, mas o formato estranho pareceu que podia ser Base64.

Copiei o campo veiculos e colei num site decodificador pra confirmar minhas suspeitas, e de fato, a mensagem se torna HTML:

inserir a descrição da imagem aqui

Como uma prova de conceito pra obter esse HTML com o Python:

import requests
import base64

url = 'https://seminovos.locamerica.com.br/veiculos.json?marca=&precode=&precoate=&ano_de=0&cambio=&acessorios=&current_url=https://seminovos.locamerica.com.br/seu-carro?marca=&cambio=&combustivel=&cor=&acessorios=&anode=0&precode=&precoate='

r = requests.get(url)
info = r.json()['veiculos']
info_decoded = base64.b64decode(info)

print(info_decoded)
2
  • no chrome, clicando pra inspecionar elementos aparece o HTML normalmente. Alem disso, pedi pra conhecidos meus me mandarem o html do site que apareciam suas maquinas. Inspecionei o html e os dados dos carros tambem apareciam normalmente. Commented 20/05/2018 às 1:26
  • @RafaelRibeiro aparece porque quando você clica pra inspecionar ou pra ver ver a fonte, a página já usou JavaScript pra carregar os dados adicionais. A requisição inicial não traz o HTML dos carros, o HTML vem nessa outra requisição que expliquei. Commented 20/05/2018 às 1:34

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .