Estou utilizando o selenium para acessar o site http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp e manipular a caixa de data e o botão ok. Até o momento consegui fazer a tarefa com sucesso.
import pandas as pd
import requests
from bs4 import BeautifulSoup
import urllib
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
import datetime
import shutil
from time import sleep
import os
options = webdriver.ChromeOptions()
options.add_experimental_option("prefs", {
"download": {"prompt_for_download": False} })
options.add_experimental_option('useAutomationExtension', False)
#Realizando a chamada do Driver do Chrome e abertura do site
g = webdriver.Chrome()
#g.get('https://www.google.com.br/')
gg = g.get('http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp')
sleep(10)
t_dt = g.find_element_by_name('dData1') #g.find_element_by_xpath('//*[@id="dData1"]')
t_dt.clear()
t_dt.send_keys('24/09/2019')
sleep(5)
t_bt = g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[2]/button')
t_bt.click()
#Data de atualização
g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[3]/p').text
html = g.page_source.encode('utf-8')
soup = BeautifulSoup(html, 'lxml')
results = []
for row in soup.find_all('tr')[1:]:
data = row.find_all('td')
merc = data[0]
venc = data[1]
prec_ant = data[2]
prec_atu = data[3]
vari = data[4]
results.append({'Mercadoria':merc.text,
'Vencimento':venc.text,
'Preço de ajuste anterior':prec_ant.text,
'Preço de ajuste atual':prec_atu.text,
'Variação': vari.text,
})
df = pd.DataFrame(results)
df.head()
O resultado está próximo do esperado, o problema ocorre na coluna mercadoria, onde há uma mescla e com isso a primeira linha de cada mercadoria perde a formatação.