1

Estou utilizando o selenium para acessar o site http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp e manipular a caixa de data e o botão ok. Até o momento consegui fazer a tarefa com sucesso.

import pandas as pd
import requests
from bs4 import BeautifulSoup
import urllib 


from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

import datetime
import shutil
from time import sleep

import os

options = webdriver.ChromeOptions()

options.add_experimental_option("prefs", {
  "download": {"prompt_for_download": False} })
options.add_experimental_option('useAutomationExtension', False)


#Realizando a chamada do Driver do Chrome e abertura do site
g = webdriver.Chrome()
#g.get('https://www.google.com.br/')
gg = g.get('http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp')
sleep(10)

t_dt = g.find_element_by_name('dData1') #g.find_element_by_xpath('//*[@id="dData1"]')
t_dt.clear() 
t_dt.send_keys('24/09/2019')
sleep(5)

t_bt = g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[2]/button')

t_bt.click()

#Data de atualização 
g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[3]/p').text

html = g.page_source.encode('utf-8')

soup = BeautifulSoup(html, 'lxml')

results = []

for row in soup.find_all('tr')[1:]:
    data = row.find_all('td')
    merc = data[0]
    venc = data[1]
    prec_ant = data[2]
    prec_atu = data[3]
    vari = data[4]
    results.append({'Mercadoria':merc.text, 
                    'Vencimento':venc.text, 
                    'Preço de ajuste anterior':prec_ant.text,
                    'Preço de ajuste atual':prec_atu.text,
                    'Variação': vari.text,
                   })

df = pd.DataFrame(results)

df.head()

O resultado está próximo do esperado, o problema ocorre na coluna mercadoria, onde há uma mescla e com isso a primeira linha de cada mercadoria perde a formatação.

5
  • Você consegue listar os dados da tabela?
    – Tmilitino
    Commented 25/09/2019 às 12:55
  • consigo através desse trecho #Dados extraidos da tabela cols = g.find_elements_by_xpath('//*[@id="tblDadosAjustes"]/tbody/tr/td') for col in cols: print(col.text.split('\n')) Commented 25/09/2019 às 13:03
  • coloca esse trecho de código e diga que você consegue imprimir os dados, e sua dificuldade é levar esses dados para um datafreme, pq não ficou claro na pergunta. Obrigado!
    – Tmilitino
    Commented 25/09/2019 às 13:28
  • 1
    Fiz uma edicao no codigo completo acredito que fica mais clara a duvida que tenho Commented 25/09/2019 às 14:38
  • Se uma das respostas abaixo resolveu o seu problema e não restou nenhuma dúvida, escolha a que você mais gostou e marque-a como correta/aceita ao clicar no "✅" que está ao lado dela, o que também marca a sua pergunta como resolvida. Se ainda te resta alguma dúvida ou gostaria de maiores esclarecimentos, fique à vontade para comentar.
    – Lucas
    Commented 22/03/2021 às 22:07

2 Respostas 2

1

Opa!

O pandas tem o método read_html (pandas.read_html)! Se você conseguir atribuir o conteúdo html da página a alguma variável, você só precisaria passar essa variável como parâmetro para o método read_html, que ele já retorna um DataFrame para você.

Acho que esse é o metodo mais simples e rápido!

com o pacote requests, fica assim:

import requests as re

import pandas as pd

url = "http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp"
params = {
    'type': 'js',
    'session': '6$6E079F1ED270FE09AAAF72AD1C802103|5286dfffe4e737f8|1',
    'svrid': 6,
    'flavor': 'post',
    'visitID': 'HIGOKLAIJAFBOMFPQKMPCHLOALJFEIDG',
    'modifiedSince': 1569350877570,
    'app': '5286dfffe4e737f8',
    'dData1': '16/09/2019'
}

page = re.post(url, data=params, verify=False)
df = pd.read_html(page.content)

O campo 'dData1' você pode alterar p data que você quiser!

Até onde eu testei, funcionou...

13
  • Nesse caso não vou poder utilizar o pandas por questões de restrições de acesso a página, terei que fazer essa ação inicialmente via selenium e beautifulsoup Commented 25/09/2019 às 11:24
  • Eu até estou conseguindo obter os dados. A principal questão é que não estou conseguindo reproduzir para uma DataFrame o mesmo formato da tabela do site. Commented 25/09/2019 às 12:03
  • Abaixo os códigos que estou utlizando: Commented 25/09/2019 às 12:03
  • #Data de atualização g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[3]/p').text Commented 25/09/2019 às 12:04
  • #Colunas da Tabela elements = g.find_elements_by_xpath('//*[@id="tblDadosAjustes"]/thead/tr/th') for element in elements: print(element.text.split("\n")) Commented 25/09/2019 às 12:04
1

Um pouco atrasado, mas talvez a resposta interesse mais alguém.

O problema é que a linha "Mercadoria" só está definida no html na primeira linha de cada mercadoria. Fora da primeira linha, o primeiro elemento na tabela de html é o vencimento.

Na solução que apresento abaixo eu uso um regex para checar se o primeiro elemento da linha tem o formato de vencimento (r'[A-Z][0-9]{2}'). Se sim, uso as entradas normalmente e salvo o nome da mercadoria. Caso contrário, uso o último nome salvo de mercadoria e começo a inserir novos dados a partir de vencimento. Veja:

import pandas as pd
import requests
from bs4 import BeautifulSoup
import urllib 
import re #regex module add for solution

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

import datetime
import shutil
from time import sleep

import os

options = webdriver.ChromeOptions()
# options.headless = True #rodar sem abrir o browser
options.add_experimental_option("prefs", {
  "download": {"prompt_for_download": False} })
options.add_experimental_option('useAutomationExtension', False)


#Realizando a chamada do Driver do Chrome e abertura do site
g = webdriver.Chrome(options=options)
#g.get('https://www.google.com.br/')
gg = g.get('http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp')
sleep(10)

t_dt = g.find_element_by_name('dData1') #g.find_element_by_xpath('//*[@id="dData1"]')
t_dt.clear() 
t_dt.send_keys('24/09/2019')
sleep(5)

t_bt = g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[2]/button')

t_bt.click()

#Data de atualização 
g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[3]/p').text

html = g.page_source.encode('utf-8')

soup = BeautifulSoup(html, 'lxml')

results = []

for row in soup.find_all('tr')[1:]:
    data = row.find_all('td')
    if re.match(r'[A-Z][0-9]{2}',data[1].text.strip()):
        results.append({'Mercadoria':data[0].text.strip(), 
                        'Vencimento':data[1].text.strip(), 
                        'Preço de ajuste anterior':data[2].text.strip(),
                        'Preço de ajuste atual':data[3].text.strip(),
                        'Variação': data[4].text.strip(),
                    })
        #guarda o nome da mercadoria para usar abaixo
        mercadoria=data[0].text.strip()
    else:
        results.append({'Mercadoria':mercadoria, 
                       'Vencimento':data[0].text.strip(), 
                        'Preço de ajuste anterior':data[1].text.strip(),
                        'Preço de ajuste atual':data[2].text.strip(),
                        'Variação': data[3].text.strip(),
                    })


df = pd.DataFrame(results)

print(df)

g.quit()

Output:

                                Mercadoria Vencimento Preço de ajuste anterior Preço de ajuste atual Variação
0  AFS   - RANDE DA AFRICA DO SUL (TIPO A)        V19               14.895,900            14.886,600   -9,300
1  AFS   - RANDE DA AFRICA DO SUL (TIPO A)        X19               14.971,500            14.952,500  -19,000
2  AFS   - RANDE DA AFRICA DO SUL (TIPO A)        Z19               15.024,500            15.006,300  -18,200
3                   ARB   - Peso Argertino        V19                  71,3070               71,7160   0,4090
4                   ARB   - Peso Argertino        X19                  63,6910               63,6380  -0,0530

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .