0

Estou coletando os dados nesse site, utilizando requests e beautifulsoup. Consegui coletar todos os dados da pagina 1, porem não consigo mudar a pagina.


Codigo Python

   variaveis = []
   df_list = []
   for i in range(1,3):
       print('rodada')
       print(i)
       url = 'https://www.cartolafcbrasil.com.br/scouts/cartola-fc-2018/rodada-' + str(i)
       page = requests.get(url)
       soup = BeautifulSoup(page.text, 'html.parser')
       table = soup.find_all('table')[0]
       df = pd.read_html(str(table), encoding="UTF-8")
       df_list.append(df)
    print(df)

HTML

<tr class="tbpaging">
   <td colspan="25">
      <table border="0">
<tr>
   <td>
      <span>
      1
      </span>
   </td>
   <td>
      <a href="javascript:__doPostBack('ctl00$cphMainContent$gvList','Page$2')">
      2
      </a>
   </td>
   <td>
      <a href="javascript:__doPostBack('ctl00$cphMainContent$gvList','Page$3')">
      3
      </a>
   </td>

1 Resposta 1

0

Problema

A paginação usada na lista dos resultados depende da execução de uma função javascript e o BeautifulSoup não executa javascript, então você não vai conseguir o acesso a dados obtidos pelo javascript.

Solução

Você pode usar uma engine de renderização completa, no Python você pode usar o Selenium, assim você vai conseguir simular o clique na paginação e o javascript sera executado garantindo o acesso aos dados que precisa.

2
  • soup.find_element_by_xpath("(//a[contains(.,'2')])[2]").click() 'NoneType' object is not callable
    – Pedro
    27/03/2019 às 3:05
  • @Pedro com o Soup você não ira conseguir executar o javascript.
    – Augusto A
    27/03/2019 às 12:55

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .