-1

Estou fazendo um webscrapping do site do cifra club e pegando as músicas mais acessadas de um gênero.

O código funciona normal mas o jeito que a página é feita só aparecem as 100 primeiras músicas, pra mostrar o resto eu tenho que fisicamente clicar no botão "Mostrar Mais" do site. Apertar o botão não altera nada na url que eu possa usar no programa pra acessar mais páginas.

<button id="js-top_more" class="btn btn-full g-sb">mostrar mais</button>

E depois disso não tem mais nada relacionado ao botão.

Existe alguma maneira de contornar esse problema?

4
  • Está usando selenium? 18/08/2018 às 22:42
  • Eu só estou usando o beautifulsoup
    – Dhonrian
    19/08/2018 às 15:27
  • Com beautifulsoup não faz muito sentido pensar em clicar em botões. Você tem duas alternativas: usar selenium (controlar um navegador de verdade com código) ou analisar e replicar as requisições do site, usando as ferramentas de desenvolvedor do seu navegador. 19/08/2018 às 19:10
  • Sugestão: Tente contato com o dono do site para saber se não existe uma API pública que você possa usar. Normalmente o web-scrapping é algo não autorizado nos termos de uso da maioria dos sites.
    – Pagotti
    20/08/2018 às 17:26

1 Resposta 1

1

Uma biblioteca bastante intuitiva para controlar um navegador pelo Python (desde acessar urls a obter elementos específicos da página e clicar em botões) é o Selenium.

Para instalá-lo para o Python 2.*:

pip install selenium

E para o Python 3.*:

pip3 install selenium

Após a instalação para o Python 3.*, você pode fazer da seguinte forma:

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Firefox()
driver.get("https://www.cifraclub.com.br/mais-acessadas/")

btn_more = driver.find_element(By.ID, 'js-top_more')
btn_more.click()

Clicar no botão em questão vai exibir 20 novas músicas a cada clique, e mantém o mesmo ID (o que pode ser bastante prático pra você), então analise quantas músicas você pretende carregar.

Outra dica que posso te dar é usar o WebDriverWait, que faz o driver esperar o aparecimento de um elemento com base em um tempo de delay e expected_conditions, que oferecerá condições para o WebdriverWait, o que pode ser fundamental entre um clique e outro no botão.

from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium import webdriver

driver = webdriver.Firefox()
driver.get("https://www.cifraclub.com.br/mais-acessadas/")

while(sua_condicao):
    btn_more = WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.ID, 'js-top_more')))
    btn_more.click()

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .