0

Tenho um mini bot feito em Python que faz a raspagem dos dados do Tesouro Direto, em resumo ele loga na minha conta, vai no extrato pega esses dados e retorna um json, o qual dentro do meu projeto em Laravel eu trabalho com os dados, porem as vezes ocorrem erros, devido a minha internet, ou algum outro problema.

É aqui que entraria o print screen, quando ocorrer algum erro seria tirado um print screen, com isso ficaria mais fácil de saber se o erro é alguma mudança no site ou algum erro interno ou externo.

Vou pegar apenas um dos scripts para usar como exemplo, nesse caso o tesouro_direto_extrato.py, baixo o script:

# -*- coding: utf-8 -*-

# =========== IMPORTS =========== 
from datetime import datetime
import dateutil.relativedelta
from time import sleep
import sys
from selenium import webdriver
from selenium.webdriver import FirefoxOptions
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import Select
from selenium.webdriver.support.ui import WebDriverWait
from selenium.common.exceptions import NoSuchElementException
# ===============================

print('[ {"inicio": "%s"},' % str(datetime.now()))
# necessario para funcionar remotamente
opts = FirefoxOptions()
opts.add_argument("--headless")
firefox = webdriver.Firefox(firefox_options=opts)
# ============================================

# parametros
user_login = sys.argv[1]
user_pass = sys.argv[2]
wait_time = 10
# =====================================

# PAGINA DE LOGIN
firefox.get('https://tesourodireto.bmfbovespa.com.br/portalinvestidor/')

# preenchendo formulario de login
login = WebDriverWait(firefox, wait_time).until(EC.presence_of_element_located((By.ID, 'BodyContent_txtLogin'))) 
password = WebDriverWait(firefox, wait_time).until(EC.presence_of_element_located((By.ID, 'BodyContent_txtSenha'))) 
login.send_keys("", user_login)
password.send_keys("", user_pass)
login_attempt = WebDriverWait(firefox, wait_time).until(EC.presence_of_element_located((By.ID, 'BodyContent_btnLogar'))) 
login_attempt.click()
# ====================================

#  pagina de consulta
firefox.get('https://tesourodireto.bmfbovespa.com.br/portalinvestidor/extrato.aspx')
btn_consultar = WebDriverWait(firefox, wait_time).until(EC.presence_of_element_located((By.ID, 'BodyContent_btnConsultar'))) 
btn_consultar.click()
# =====================================

representantes = firefox.find_elements_by_xpath("//div[contains(@class, 'section-container')]")

# print(vars(representantes))
for representante in representantes:   
    nome_representante = representante.find_element_by_xpath('./section/p/a').text.split(' - ')
    table_rows = representante.find_elements_by_xpath('./section/div/table/tbody/tr')
    nome_representante = nome_representante[1]
    for table_row in table_rows:
        titulo = table_row.find_element_by_xpath('./td[1]').text
        vencimento = datetime.strptime(table_row.find_element_by_xpath('./td[2]').text, '%d/%m/%Y')
        valor_investido = (table_row.find_element_by_xpath('./td[3]').text).replace('.', '').replace(',','.')
        valor_bruto_atual = (table_row.find_element_by_xpath('./td[4]').text).replace('.', '').replace(',','.')
        valor_liquido_atual = (table_row.find_element_by_xpath('./td[5]').text).replace('.', '').replace(',','.')
        quant_total = (table_row.find_element_by_xpath('./td[6]').text).replace(',', '.')
        quant_bloqueado = (table_row.find_element_by_xpath('./td[7]').text).replace(',', '.')
        print('{ "nome_representante": "%s", "titulo": "%s", "vencimento": "%s", "valor_investido": "%s", "valor_bruto_atual": "%s", "valor_liquido_atual": "%s", "quant_total": "%s", "quant_bloqueado": "%s" },' % (nome_representante, titulo, vencimento, valor_investido, valor_bruto_atual, valor_liquido_atual, quant_total, quant_bloqueado))

# Fechar navegador
firefox.quit()
print('{"fim": "%s"} ]' % str(datetime.now()))

Atualmente quando ocorre um erro, o selenium naturalmente cospe o erro e acabo salvando como log para consultas, por exemplo:

[ {"inicio": "2019-01-18 10:00:02.026618"},
Traceback (most recent call last):
  File "/var/www/MoneyGuard/pythonGuard/tesouro_direto/tesouro_direto_extrato.py", line 32, in <module>
    firefox.get('https://tesourodireto.bmfbovespa.com.br/portalinvestidor/')
  File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/webdriver.py", line 333, in get
    self.execute(Command.GET, {'url': url})
  File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: Reached error page: about:neterror?e=dnsNotFound&u=https%3A//tesourodireto.bmfbovespa.com.br/portalinvestidor/&c=UTF-8&f=regular&d=N%C3%A3o%20conseguimos%20conectar%20com%20o%20servidor%20em%20tesourodireto.bmfbovespa.com.br.

Esse erro, por exemplo eu não sei bem se o erro foi uma mudança na URL ou se meu servidor não conseguiu resolver por conta de internet.

Então eu agradeço toda e qualquer ajuda para melhorar esse script, Obrigado.

Link para todos os scripts: https://github.com/bulfaitelo/Tesouro-Direto-Scraper

1
  • Só faltou a pergunta. Você falou o que quer fazer, mas não falou porque ainda não o fez... Qual a sua dificuldade?
    – nosklo
    Commented 24/01/2019 às 22:05

1 Resposta 1

2

Após o .get() abrir o navegador, inicie um bloco de tratamento de erro do tipo try/except para tratar qualquer erro que ocorra no script daí em diante.

firefox.get(...)
try:
    ... TODO SEU CODIGO AQUI ...
except Exception: 
    ... codigo a executar no caso de erro ...

Coloque então dentro da cláusula except a função para screenshot, para que ela ocorra no momento do tratamento de erro. Você pode também usar o logging.exception() para "logar" a exceção. Por exemplo:

firefox.get(...)
try:
    ... TODO SEU CODIGO AQUI ...
except Exception:  
    logging.exception('DEU ERRO, OLHE erro.png')
    firefox.save_screenshot('erro.png')
    firefox.quit()
    raise
8
  • Adequei o meu código a esse caso seu simulei uma senha errada, e simplesmente obtive o erro sem print, pastebin.com/1MHJR7wg (erro)
    – Bulfaitelo
    Commented 25/01/2019 às 10:27
  • @Bulfaitelo pela imagem parece que o código que deu erro não estava dentro da cláusula try... aí não tem como ele tratar na cláusula except!!
    – nosklo
    Commented 25/01/2019 às 18:38
  • eu basicamente coloquei o todo o código após o primeiro firefox.get(), e executei o script com a senha errada. teoricamente, o erro estava ocorrendo dentro do try
    – Bulfaitelo
    Commented 25/01/2019 às 18:40
  • Se a linha 45, que foi a linha que deu erro, estiver dentro do try, então era pra executar a cláusula except e gravar o screenshot
    – nosklo
    Commented 25/01/2019 às 18:45
  • Segue o código que usei para testar: pastebin.com/MR1i4BJS
    – Bulfaitelo
    Commented 25/01/2019 às 18:47

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .