3

Olá,

Estou tentando realizar um web scraping em uma página protegida por login, já consegui realizar o acesso tanto via Request, quanto via Selenium, o problema se dá após o login.

A página é a seguinte: https://eduardocavalcanti.com/login Após o login, ele redireciona para essa página automaticamente: https://eduardocavalcanti.com/dashboard

Entretanto, quando faço o login via navegador, se eu pedir para acessar a página https://eduardocavalcanti.com/an_fundamentalista/petr/ ele acessa sem problemas por conta de que já realizei o login.

Porém isso não está funcionando com o Request. Mesmo eu solicitando para ele acessar a página https://eduardocavalcanti.com/an_fundamentalista/petr/ ele vai para alguma outra página.

Sou novato nessa área, já realizei algumas consultas, mas não encontrei uma base para referência.

código do Request:

import requests
from bs4 import BeautifulSoup

loginPage = 'https://eduardocavalcanti.com/login/'
protectedPage = 'https://eduardocavalcanti.com/dashboard'
petrUrl = 'https://eduardocavalcanti.com/an_fundamentalista/petr/'
payload = {
    'user_login': '[email protected]',
    'password': 'minhasenha'
}

sess = requests.session()
sess.post(loginPage, data=payload)
#petr = sess.get(protectedPage)
petr = sess.get(petrUrl )
soup = BeautifulSoup(petr.content, 'html.parser')
print(soup)

código do Selenium:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

browser = webdriver.Firefox()
browser.get("https://eduardocavalcanti.com/an_fundamentalista/itsa/") 
time.sleep(10)
username = browser.find_element_by_name("user_login")
password = browser.find_element_by_name("user_pass")
username.send_keys("[email protected]")
password.send_keys("minha_senha")
login_attempt = browser.find_element_by_xpath("//*[@type='submit']")
login_attempt.submit()
time.sleep(5)
browser.get("https://eduardocavalcanti.com/an_fundamentalista/petr/")
DadosEmpresa = browser.find_element_by_xpath("/html/body").text
#DadosEmpresa = browser.find_elements_by_xpath("/html/body")
#for item in DadosEmpresa:
    #print(item.text)

O problema que encontro é que a estrutura que o Selenium retorna daria trabalho para colocar em um dicionário em Python. Há alguma forma do Selenium retornar as tabelas da página em um formato mais estruturado? Assim eu poderia utilizar BeautifulSoup.

Em relação ao Request, será que há algum bloqueio no site que impede dele acessar a pagina? Já tentei utilizar cookies, dar timesleep e nada deu certo.

3
  • 1
    Pedro, não da pra utilizar os dois módulos juntos? Tipo: browser = webdriver.Firefox() browser.get("...") soup = BeautifulSoup(browser.page_source, 'html.parser')??
    – NoobSaibot
    10/02/2019 às 20:21
  • Caralho maluko, nem tinha pensado nisso. Como disse, sou novato, mas deu certo. Obrigado! 11/02/2019 às 22:11
  • 1
    @PedroCosta, inclua os headers do user-agent no seu get, isso ajuda o seu robô a ficar parecido com o acesso pelo navegador e evita bloqueio do site. 12/02/2019 às 2:22

1 Resposta 1

0

A melhor forma de você transformar uma tabela HTML em um formato mais estruturado é com a biblioteca Pandas. Como não tenho acesso a área logada, vou colocar um exemplo de código para você adaptar para a sua tabela:

import pandas as pd 
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

browser = webdriver.Firefox()
browser.get("https://eduardocavalcanti.com/an_fundamentalista/itsa/") 
time.sleep(10)
username = browser.find_element_by_name("user_login")
password = browser.find_element_by_name("user_pass")
username.send_keys("[email protected]")
password.send_keys("minha_senha")
login_attempt = browser.find_element_by_xpath("//*[@type='submit']")
login_attempt.submit()
time.sleep(5)
browser.get("https://eduardocavalcanti.com/an_fundamentalista/petr/")
DadosEmpresa = browser.find_element_by_xpath("/html/body").text

# Aqui você utiliza o Pandas para transformar a tabela HTML em um DataFrame
df_tabela = pd.read_html(DadosEmpresa)        # carrega tabela HTML em um DataFrame do Pandas
df = df_tabela[['id da empresa','nome da empresa','descricao']]  # alterar para ser igual aos titulos da sua tabela no site
df.columns = ['id','empresa','descricao']        # coloca nome que quiser nas variaveis
print(df)

Segue um tutorial para te auxiliar a usar o Pandas: How to use Pandas read_html to Scrape Data from HTML Tables

Web Scraping com Python, Selenium e Pandas - Código Fonte TV

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .