4

Boa tarde. Estou desenvolvendo um script que:

  1. acessa um sistema;
  2. dentro do ambiente, encontra determinadas informações;
  3. gera uma espécie de relatório;
  4. cria uma planilha com os dados.

Meu problema está ainda antes do parse. Eu consigo acessar o ambiente que contém a informação, mas não consigo fazer com que o webdriver do Selenium localize os elementos nos quais deverá clicar para acessar os dados que constarão do relatório.

Tenho a impressão de que é o javascript que está causando a confusão, pois a informação do frame que "dispara" o javascript está acessível, e a página com o resultado disso, visível para mim, não parece visível para o script.

Como contornar o javascript?

Como fazer com que o webdriver "enxergue" a página final da mesma maneira que eu a vejo?

(EDITADO. Código abaixo:)

from selenium import webdriver
import time
from selenium.common.exceptions import NoSuchFrameException
import os

if os.path.exists('c:\\projudi') == False:
    os.makedirs('c:\\projudi')

try:
    planilha = open('c:\\projudi\\relatorio.csv', 'r+')
except FileNotFoundError:
    planilha = open('c:\\projudi\\relatorio.csv', 'w+')

browser = webdriver.Chrome()
browser.get('https://projudi.tjpr.jus.br/projudi')
time.sleep(20)
browser.switch_to_frame('mainFrame')
browser.switch_to_frame('userMainFrame')
links = browser.find_elements_by_class_name('link')
n = len(links)

for x in range(0, n, 2):
    if links[x].text != ('0'):  
        links[x].click()
        time.sleep(2)
        try:
            browser.switch_to_frame('mainFrame')
            browser.switch_to_frame('userMainFrame')
            a = browser.find_elements_by_class_name('link')
        except NoSuchFrameException:
            a = browser.find_elements_by_class_name('link')
        if a != []:
            q = browser.find_elements_by_class_name('resultTable')
            w = q[0].text
            for x in range(len(w)):
                dados = w.split('\n')
            for x in range(len(dados)):
                planilha.writelines(dados[x])
            for x in range(int(len(a))):
                a[x].click()
                time.sleep(2)
                browser.back()
                time.sleep(2)
                browser.switch_to_frame('mainFrame')
                browser.switch_to_frame('userMainFrame')
                a = browser.find_elements_by_class_name('link')
            browser.back()
            time.sleep(2)
        else:       
            browser.back()
            time.sleep(2)
        browser.switch_to_frame('mainFrame')
        browser.switch_to_frame('userMainFrame')
        links = browser.find_elements_by_class_name('link')

planilha.close()    
browser.close() 

Minha dúvida: quando acesso a tela que contém as informações que preciso (resultTable), capturo-a inteira e gero uma variável com uma string contendo todos os dados. Dei um split nela, e fiquei com uma lista de strings. Até aí ok, jogo tudo pro arquivo do relatório para tratamento posterior. Agora... como controlar o FLUXO? Já sei que vou ter que tratar na lista a string que contém a DATA com regex, pois só preciso acessar as informações do dia presente até 2 dias atrás. Porém como usar essa informação como REFERÊNCIA pro Python? Exemplo: O scrip captura a tabela e joga pra uma lista como essa:

lista = ['0004434-48.2010', 'UNIÃO', '(30 dias úteis) 03/07/2017', '13/07/2017', '0008767-77.2013', '2017', '(10 dias úteis) 03/07/2017', '13/07/2017']

O primeiro item da lista é o primeiro item da tabela, linha 1 e coluna 1. Ele contém o link. A data de controle está no TERCEIRO item, linha 1 coluna 3. E o item 5 já é a próxima linha (linha 2, coluna 1). Não sei se consegui explicar! =/

Eu preciso: 1 - verificar a data. Se for hoje ou ontem: Clicar no primeiro item daquela linha. Se não for, seguir pra próxima linha.

4
  • Acho que o ideal e colocar o código até onde vai, e depois o erro pra gente ver....
    – MagicHat
    28/06/2017 às 19:26
  • Se possível, insira também o link para o site em questão. Só será possível determinar como capturar a informação se pudermos diagnosticar o campo. 29/06/2017 às 17:02
  • Editei seguindo as orientações dos amigos. Consta o link, e consta também o código. Na vdd eu já consegui superar essa etapa, dando switch_to_frame duas vezes (sem entender muito bem porque precisei dos dois passos, mas como funcionou eu deixei). Agora estou no momento de efetivamente capturar as informações. Infelizmente o sistema demanda login e senha... 13/07/2017 às 17:13
  • @BergodeAlmeida tem como exportar o html após o login? Da página onde efetivamente está extraindo os dados.
    – rodrigorf
    15/01/2018 às 0:46

1 Resposta 1

2

Pelo que li não sei se entendi corretamente o que você quer fazer, mas o Selenium tem diversos módulos específicos para conseguir fazer o que você quer... o problema é que você precisaria ir no html da pagina e ver qual elemento é qual para poder capturar com o selenium.

from selenium.webdriver.common.keys import Keys         #importa a habilidade de input de chaves e senhas
from selenium.webdriver.support.ui import Select        #importa a habilidade de usar o select em boxes e pontos
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait #importa a habilidade de setar o 'wait time' do browser
from selenium.webdriver.support import expected_conditions as EC #importa a biblioteca de condições esperadas

são aqui algumas bibliotecas úteis do selenium... Agora para verificar a data do dia e conferir se o dia é o atual ou o proximo eu recomendaria ver o Id, o nome ou o id e usar o comando

variavel = driver.find_element_by_name('elemento').

Agora... se já tiver capturado as informações e tiver as jogado em um arquivo ou variável então eu sugiro usar o Pandas para organizar a informação como dataframes.

Para verificar as datas de um link eu pegaria o link com o find_element_by e então ia analisar qual é o pixel que a data começa e qual o pixel que ele acaba (link[n:m]) e dessa forma usar o datetime para comparar a data buscada com a data atual.

para pegar a data atual

import datetime
from datetime import timedelta
data_hoje = (datetime.datetime.now()).strftime("%d%m%Y")
data_ontem = (datetime.datetime.now() - timedelta(days = 1)).strftime("%d%m%Y")
data_um_dia_n_dias_atras = (datetime.datetime.now() - timedelta(days = n)).strftime("%d%m%Y")

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .