1

Eu preciso raspar em Python uma lista em um site. Apenas a primeira lista Meu código está assim:

import requests

from bs4 import BeautifulSoup

page = requests.get("http://www25.senado.leg.br/web/atividade/materias/-/materia/votacao/2363507")

soup = BeautifulSoup(page.content, 'html.parser')

lista = soup.find_all('ul' , class_='unstyled')

Está raspando todas as listas. Quero raspar a lista de votação da descrição "Votação nominal, em primeiro turno, da PEC nº 55/2016, que altera o Ato das Disposições Constituicionais Transitórias, para instituir o Novo Regime Fiscal, e dá outras providências (Teto dos Gastos Públicos)."

Mas todas as listas tem tag ul e class unstyled Alguém sabe com diferenciar as listas?

Pesquisei um pouco depois, li esse site: https://www.crummy.com/software/BeautifulSoup/bs4/doc/

Creio que seja isso: listas = soup.find_all('ul' , class_='unstyled', limit=2)

2
  • Que dados precisas extrair dessa pág?
    – Miguel
    Commented 16/08/2017 às 10:28
  • A primeira lista de votação (Votação nominal, em primeiro turno, da PEC nº 55/2016), com os nomes de senadores e como votaram. Com o comando listas = soup.find_all('ul' , class_='unstyled', limit=2) eu consegui. Agora vou fazer comandos para gravar isso em um csv Commented 17/08/2017 às 11:10

1 Resposta 1

0

Cara ja tentou usar Selenium?

pip install selenium
brew install phantomjs

Codigo que faz a mesma coisa que você precisa.

from selenium import webdriver

browser = webdriver.PhantomJS()
browser.get("http://www25.senado.leg.br/web/atividade/materias/-/materia/votacao/2363507")

list_senadores = browser.find_elements_by_xpath(".//ul[@class='unstyled']")

print("Primeira coluna")
for lis in list_senadores[0].find_elements_by_css_selector("li"):
    print(lis.text)

print("Segunda coluna")
for lis in list_senadores[1].find_elements_by_css_selector("li"):
    print(lis.text)
10
  • Obrigado, não conhecia O comando "brew install phantomjs" é para instalar o PhantomJS? É necessário instalar algo antes? No prompt aparece: 'brew' não é reconhecido como um comando interno ou externo, um programa operável ou um arquivo em lotes. Commented 23/08/2017 às 22:43
  • Consegui aqui, obrigado. Mas antes: Instalei (phantomjs.org) E dei o comando de path: path_to_phantomjs = '/Users/Reinaldo/Documents/phantomjs-2.1.1-windows/bin/phantomjs' browser = webdriver.PhantomJS(executable_path = path_to_phantomjs) Commented 23/08/2017 às 23:26
  • 1
    Então, se voce instalar com o npm, voce não precisa passar o path do phantomjs, mas dessa forma acredito que funciona também! Abraços
    – GIA
    Commented 24/08/2017 às 13:54
  • 1
    @ReinaldoChaves se voce trocar find_element_by_xpath por find_elements_by_xpath ele pega todos os ul com class unstyled. E bem simples o selenium. Ou voce busca por um elemento (no caso ai ele pegou o primeiro UL) ou busca todos existentes. Não esqueça de dar um up se isso for util! Obrigado :D
    – GIA
    Commented 24/08/2017 às 15:23
  • 1
    Entao, no caso, quando voce usa o elements para pegar todas as ULs, ele se torna uma lista de ULS. Entao voce terá que fazer um for nas uls e mais um for em cada uma para obter as LIs. No caso, o site do governo é uma bosta, ele criou todas as uls do site com mesmos atributos. Voce tera que identificar qual elemento/atributo diferencia de cada lista. Vou atualizar o codigo para voce trazer apenas as 2 colunas do primeiro bloco de senadores.
    – GIA
    Commented 24/08/2017 às 16:28

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .