-1

eu sempre uso variações desse código em outras tabelas e costuma dar certo, mas nessa eu tento de todo jeito e não dá, o que estou fazendo de errado?

    url = "https://www.reddit.com/r/movies/comments/hhfalb/what_is_the_best_film_you_watched_last_week/"
    req = requests.get(url)
    soup = BeautifulSoup(req.content, 'html.parser')
    tabela = soup.findAll('table', class_='MRH-njmSb5ZTkfb1o4dqv') 
    colunas = tabela.findAll('td')
    print(tabela)



<table class="MRH-njmSb5ZTkfb1o4dqv"><thead>  {....}

{....}  <td class="_1LHijgw3WoeCUe8AUewfUB"><a href="https://www.reddit.com/r/movies/comments/hd7rzi/what_is_the_best_film_you_watched_last_week/fvluiyn/" class="_3t5uN8xUmg0TOwRCOGQEcU" rel="noopener nofollow ugc" target="_blank">&quot;Miss Juneteenth&quot;</a></td>   {.....}

Nas primeiras tentativas eu conseguia imprimir o codigo da tabela, mas agora nem mais isso. Geralmente o resultado dá [] (vazio), ou (None) no log.

Já tentei soup.find, soup.findAll, nada. Como vocês fariam?

1 Resposta 1

0

Eu testei o que vocês estava fazendo e quando olhei o status do requests deu um status 502 que significa erro.

print (req.status_code)
502

Ai fiz um teste com o Selenium e utilizando WebDriver e funcionou:

from bs4 import BeautifulSoup
from selenium import webdriver

#Carregando o webdriver
driver = webdriver.Chrome("/usr/bin/chromedriver")
url = "https://www.reddit.com/r/movies/comments/hhfalb/what_is_the_best_film_you_watched_last_week/"
driver.get(url)
req = driver.page_source
soup = BeautifulSoup(req, 'html.parser')
tabela = soup.find('table', attrs={"class":"MRH-njmSb5ZTkfb1o4dqv"}) 
colunas = tabela.find_all('td')
print(tabela)
1
  • Então, eu queria evitar justamente de usar o Selenium porque seria meio pesado (demora muito para instalar no servidor por exemplo). Acredito que o problema é gerado justamente porque a página foi criada por javascript ou coisa do tipo, por isso que com o Selenium deu certo. Acredito que não tenha outro jeito com BeautifulSoup normal, né? De qualquer forma eu encontrei outra solução na gambiarra, peguei a tabela através do feed/rss do reddit. Deu super certo.Obrigado pela solução mesmo assim!
    – diegooli
    7/07/2020 às 1:10

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .