Olá,
Estou tentando realizar um web scraping em uma página protegida por login, já consegui realizar o acesso tanto via Request, quanto via Selenium, o problema se dá após o login.
A página é a seguinte: https://eduardocavalcanti.com/login Após o login, ele redireciona para essa página automaticamente: https://eduardocavalcanti.com/dashboard
Entretanto, quando faço o login via navegador, se eu pedir para acessar a página https://eduardocavalcanti.com/an_fundamentalista/petr/ ele acessa sem problemas por conta de que já realizei o login.
Porém isso não está funcionando com o Request. Mesmo eu solicitando para ele acessar a página https://eduardocavalcanti.com/an_fundamentalista/petr/ ele vai para alguma outra página.
Sou novato nessa área, já realizei algumas consultas, mas não encontrei uma base para referência.
código do Request:
import requests
from bs4 import BeautifulSoup
loginPage = 'https://eduardocavalcanti.com/login/'
protectedPage = 'https://eduardocavalcanti.com/dashboard'
petrUrl = 'https://eduardocavalcanti.com/an_fundamentalista/petr/'
payload = {
'user_login': '[email protected]',
'password': 'minhasenha'
}
sess = requests.session()
sess.post(loginPage, data=payload)
#petr = sess.get(protectedPage)
petr = sess.get(petrUrl )
soup = BeautifulSoup(petr.content, 'html.parser')
print(soup)
código do Selenium:
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
browser = webdriver.Firefox()
browser.get("https://eduardocavalcanti.com/an_fundamentalista/itsa/")
time.sleep(10)
username = browser.find_element_by_name("user_login")
password = browser.find_element_by_name("user_pass")
username.send_keys("[email protected]")
password.send_keys("minha_senha")
login_attempt = browser.find_element_by_xpath("//*[@type='submit']")
login_attempt.submit()
time.sleep(5)
browser.get("https://eduardocavalcanti.com/an_fundamentalista/petr/")
DadosEmpresa = browser.find_element_by_xpath("/html/body").text
#DadosEmpresa = browser.find_elements_by_xpath("/html/body")
#for item in DadosEmpresa:
#print(item.text)
O problema que encontro é que a estrutura que o Selenium retorna daria trabalho para colocar em um dicionário em Python. Há alguma forma do Selenium retornar as tabelas da página em um formato mais estruturado? Assim eu poderia utilizar BeautifulSoup.
Em relação ao Request, será que há algum bloqueio no site que impede dele acessar a pagina? Já tentei utilizar cookies, dar timesleep e nada deu certo.
browser = webdriver.Firefox() browser.get("...") soup = BeautifulSoup(browser.page_source, 'html.parser')
??