Eu preciso fazer scrapping de uma página, porém na entrada da page tem um botão (aparentemente um Javascript) que dá acesso à todo conteúdo da pagina em si. Usando as libs tradicionais(urllib2, requests, BeatifulSoap) não consigo "puxar" o conteúdo que preciso, alguém já passou por algo parecido?
-
Poste o código que tentou fazer sem sucesso e, de preferência, o código JavaScript que impede a conexão direto com a página.– WossCommented 9/03/2017 às 14:51
-
Precisa ser somente em python?– eduardosouzaCommented 9/03/2017 às 17:52
-
Para puxar dados de páginas com JS você deve utilizar uma biblioteca como o Selenium ou o Dryscrape. O primeiro já utilizei e recomendo, já o dryscrape, ainda não utilizei, mas já li coisas boas a respeito. Outro ponto, ao perguntar algo relacionado a web-scraping, poste o link que está acessando... ajuda bastante!– dot.PyCommented 16/03/2017 às 20:21
Adicione um comentário
|
1 Resposta
Eu costumo usar o selenium para fazer webscrapping em sites que tem muito javascript. Normalmente, utilizo o Selenium com Java, mas em Python funciona também. Abaixo, um código com um exemplo bobo, mas funcional.
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome('/path/to/chromedriver')
driver.get("http://www.python.org")
assert "Python" in driver.title
elem = driver.find_element_by_name("q")
elem.clear()
elem.send_keys("pycon")
elem.send_keys(Keys.RETURN)
assert "No results found." not in driver.page_source
driver.close()
Lembre-se que, para utilizar o Driver do Chrome, é necessário ter o Chromedriver, que você pode baixar em ChromeDriver. A documentação do Selenium WebDriver em Python está em Documentação.