Estou utilizando o selenium para acessar o site http://www.b3.com.br/pt_br/market-data-e-indices/servicos-de-dados/market-data/historico/derivativos/ajustes-do-pregao/http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp e manipular a caixa de data e o botão ok. Até o momento consegui fazer a tarefa com sucesso.
import pandas as pd
import requests
from bs4 import BeautifulSoup
import urllib
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
import datetime
import shutil
from time import sleep
import os
options = webdriver.ChromeOptions()
options.add_experimental_option("prefs", {
"download": {"prompt_for_download": False} })
options.add_experimental_option('useAutomationExtension', False)
#Realizando a chamada do Driver do Chrome e abertura do site
g = webdriver.Chrome()
#g.get('https://www.google.com.br/')
gg = g.get('http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp')
sleep(10)
t_dt = g.find_element_by_name('dData1') #g.find_element_by_xpath('//*[@id="dData1"]')
t_dt.clear()
t_dt.send_keys('05'24/0109/2017'2019')
sleep(5)
t_bt = g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[2]/button')
t_bt.click()
#Data de atualização
g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[3]/p').text
html = g.page_source.encode('utf-8')
soup = BeautifulSoup(html, 'lxml')
results = []
for row in soup.find_all('tr')[1:]:
data = row.find_all('td')
merc = data[0]
venc = data[1]
prec_ant = data[2]
prec_atu = data[3]
vari = data[4]
results.append({'Mercadoria':merc.text,
'Vencimento':venc.text,
'Preço de ajuste anterior':prec_ant.text,
'Preço de ajuste atual':prec_atu.text,
'Variação': vari.text,
})
df = pd.DataFrame(results)
df.head()
Preciso extrair a table tblDadosAjuste (//*[@id="tblDadosAjustes"]) e passar para um Data Frame. Saberiam me informar como faço para acessar essa tableO resultado está próximo do esperado, o problema ocorre na coluna mercadoria, onde há uma mescla e acessar cada um dos td que compõe as linhascom isso a primeira linha de preenchimento da dessa table?cada mercadoria perde a formatação.