Skip to main content
Bumped by Community user
Bumped by Community user
Bumped by Community user
adicionou 999 caracteres ao conteúdo
Fonte Link

Estou utilizando o selenium para acessar o site http://www.b3.com.br/pt_br/market-data-e-indices/servicos-de-dados/market-data/historico/derivativos/ajustes-do-pregao/http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp e manipular a caixa de data e o botão ok. Até o momento consegui fazer a tarefa com sucesso.

import pandas as pd
import requests
from bs4 import BeautifulSoup
import urllib  


from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

import datetime
import shutil
from time import sleep

import os 

options = webdriver.ChromeOptions()

options.add_experimental_option("prefs", {
  "download": {"prompt_for_download": False} })
options.add_experimental_option('useAutomationExtension', False)


#Realizando a chamada do Driver do Chrome e abertura do site
g = webdriver.Chrome()
#g.get('https://www.google.com.br/')
gg = g.get('http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp')
sleep(10)

t_dt = g.find_element_by_name('dData1') #g.find_element_by_xpath('//*[@id="dData1"]')
t_dt.clear() 
t_dt.send_keys('05'24/0109/2017'2019')
sleep(5)

t_bt = g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[2]/button')

t_bt.click()

#Data de atualização 
g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[3]/p').text

html = g.page_source.encode('utf-8') 

soup = BeautifulSoup(html, 'lxml')

results = []

for row in soup.find_all('tr')[1:]:
    data = row.find_all('td')
    merc = data[0]
    venc = data[1]
    prec_ant = data[2]
    prec_atu = data[3]
    vari = data[4]
    results.append({'Mercadoria':merc.text, 
                    'Vencimento':venc.text, 
                    'Preço de ajuste anterior':prec_ant.text,
                    'Preço de ajuste atual':prec_atu.text,
                    'Variação': vari.text,
                   })

df = pd.DataFrame(results)

df.head()

Preciso extrair a table tblDadosAjuste (//*[@id="tblDadosAjustes"]) e passar para um Data Frame. Saberiam me informar como faço para acessar essa tableO resultado está próximo do esperado, o problema ocorre na coluna mercadoria, onde há uma mescla e acessar cada um dos td que compõe as linhascom isso a primeira linha de preenchimento da dessa table?cada mercadoria perde a formatação.

Estou utilizando o selenium para acessar o site http://www.b3.com.br/pt_br/market-data-e-indices/servicos-de-dados/market-data/historico/derivativos/ajustes-do-pregao/ e manipular a caixa de data e o botão ok. Até o momento consegui fazer a tarefa com sucesso.

import pandas as pd
import requests
from bs4 import BeautifulSoup
import urllib 

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

import datetime
import shutil
from time import sleep

import os


#Realizando a chamada do Driver do Chrome e abertura do site
g = webdriver.Chrome()
g.get('http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp')
sleep(10)

t_dt = g.find_element_by_name('dData1') #g.find_element_by_xpath('//*[@id="dData1"]')
t_dt.clear() 
t_dt.send_keys('05/01/2017')
sleep(5)

t_bt = g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[2]/button')

t_bt.click()

Preciso extrair a table tblDadosAjuste (//*[@id="tblDadosAjustes"]) e passar para um Data Frame. Saberiam me informar como faço para acessar essa table e acessar cada um dos td que compõe as linhas de preenchimento da dessa table?

Estou utilizando o selenium para acessar o site http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp e manipular a caixa de data e o botão ok. Até o momento consegui fazer a tarefa com sucesso.

import pandas as pd
import requests
from bs4 import BeautifulSoup
import urllib  


from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

import datetime
import shutil
from time import sleep

import os 

options = webdriver.ChromeOptions()

options.add_experimental_option("prefs", {
  "download": {"prompt_for_download": False} })
options.add_experimental_option('useAutomationExtension', False)


#Realizando a chamada do Driver do Chrome e abertura do site
g = webdriver.Chrome()
#g.get('https://www.google.com.br/')
gg = g.get('http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp')
sleep(10)

t_dt = g.find_element_by_name('dData1') #g.find_element_by_xpath('//*[@id="dData1"]')
t_dt.clear() 
t_dt.send_keys('24/09/2019')
sleep(5)

t_bt = g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[2]/button')

t_bt.click()

#Data de atualização 
g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[3]/p').text

html = g.page_source.encode('utf-8') 

soup = BeautifulSoup(html, 'lxml')

results = []

for row in soup.find_all('tr')[1:]:
    data = row.find_all('td')
    merc = data[0]
    venc = data[1]
    prec_ant = data[2]
    prec_atu = data[3]
    vari = data[4]
    results.append({'Mercadoria':merc.text, 
                    'Vencimento':venc.text, 
                    'Preço de ajuste anterior':prec_ant.text,
                    'Preço de ajuste atual':prec_atu.text,
                    'Variação': vari.text,
                   })

df = pd.DataFrame(results)

df.head()

O resultado está próximo do esperado, o problema ocorre na coluna mercadoria, onde há uma mescla e com isso a primeira linha de cada mercadoria perde a formatação.

Fonte Link

Como extrair informação da table(html) e passar para uma Dataframe - Utilizando selenium

Estou utilizando o selenium para acessar o site http://www.b3.com.br/pt_br/market-data-e-indices/servicos-de-dados/market-data/historico/derivativos/ajustes-do-pregao/ e manipular a caixa de data e o botão ok. Até o momento consegui fazer a tarefa com sucesso.

import pandas as pd
import requests
from bs4 import BeautifulSoup
import urllib 

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

import datetime
import shutil
from time import sleep

import os


#Realizando a chamada do Driver do Chrome e abertura do site
g = webdriver.Chrome()
g.get('http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp')
sleep(10)

t_dt = g.find_element_by_name('dData1') #g.find_element_by_xpath('//*[@id="dData1"]')
t_dt.clear() 
t_dt.send_keys('05/01/2017')
sleep(5)

t_bt = g.find_element_by_xpath('//*[@id="divContainerIframeBmf"]/div[1]/div/form/div/div[2]/button')

t_bt.click()

Preciso extrair a table tblDadosAjuste (//*[@id="tblDadosAjustes"]) e passar para um Data Frame. Saberiam me informar como faço para acessar essa table e acessar cada um dos td que compõe as linhas de preenchimento da dessa table?