1

BR: Estou tentando automatizar um processo de obtenção de dados via web usando Python. No meu caso, preciso puxar as informações da página https://sistema.justwebtelecom.com.br/adm.php. No entanto, antes de ir a essa página, precisa-se logar em https://sistema.justwebtelecom.com.br/login.php. O código abaixo teoricamente deveria logar no site:

from selenium import webdriver
from bs4 import BeautifulSoup

import time
import requests

browser = webdriver.Firefox()
browser.get("https://sistema.justwebtelecom.com.br/login.php")
time.sleep(3)
username = browser.find_element_by_id("email")
password = browser.find_element_by_id("senha")

username.send_keys("MEU-USUARIO")
password.send_keys("MINHA-SENHA")

time.sleep(2)
login_attempt = browser.find_element_by_id('entrar').click()
time.sleep(5)

url = 'https://sistema.justwebtelecom.com.br/adm.php'

r = requests.get(url)
soup = BeautifulSoup(r.text, 'lxml')
lista = soup.find_all('html')

print(lista)

BR: No entanto, printando a variável lista, eu obtenho o código fonte da página https://sistema.justwebtelecom.com.br/login.php, ou seja, antes de logar. Sendo eu que peço o print da página depois de logar e eu tenho acesso ao painel .../adm.php .

BR: Gostaria de saber se tem como eu pegar essas informações, pois quando eu vou em rede no navegador, eu consigo tem acesso a algumas informações de arquivos com método POST. Mas eu não consigo dar um print nessas informações.

1 Resposta 1

2

Olá, primeiramente bem-vindo.

Observei alguns erros no seu código e outras coisas que eu faria diferente.

O erro primordial no seu código é que você está fazendo login de maneira automatizada pelo selenium e logo após tu faz uma requisição isolada tentando acessar uma página que é necessário uma sessão. o request não vai aproveitar a sessão que você abriu com o selenium.

solução:

from selenium import webdriver
from bs4 import BeautifulSoup

import time
import requests

browser = webdriver.Firefox()
browser.get("https://sistema.justwebtelecom.com.br/login.php")
time.sleep(3)
username = browser.find_element_by_id("email")
password = browser.find_element_by_id("senha")

username.send_keys("MEU-USUARIO")
password.send_keys("MINHA-SENHA")

time.sleep(2)
login_attempt = browser.find_element_by_id('entrar').click()
time.sleep(5)

html = browser.page_source
soup = BeautifulSoup(html, 'lxml')
lista = soup.find_all('html')

print(lista)

Com essa alteração você deixa de obter o código fonte por uma requisição externa e passa a obter o código fonte pelo próprio selenium. Como não tenho as credenciais para testar essa solução peço que teste.

E por último, não sei se esse código é apenas para teste mas caso não for aconselho rescrever o código utilizando funções e separando as competências por parte pois se pretende criar um código mais extenso depois para dar manutenção em alguma parte com o código sendo programado do jeito que está pode ficar difícil.

3
  • Cara, muito obrigado. Deu certinho, consegui pegar os dados da página com o seu código acima. Salvo minha noite, vou até dormir agora kkk. Blz, vou seguir seu conselho. Esse código que fiz foi somente para tentar solucionar essa dúvida, mas vou modificá-lo com certeza. Commented 14/04/2020 às 5:13
  • qualquer outra dúvidas estamos ai pra ajudar. mais uma coisa, o request agora é um import inútil pode retirar ele do código também, esqueci de retirar. Commented 14/04/2020 às 5:36
  • Blz. Muito obrigado mesmo. Vlw Commented 14/04/2020 às 22:45

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .