1

Estou tentando obter os discursos dos deputados, que pode ser encontrado aqui. O site possui várias páginas (1 ate 300 +/-) e em cada página possuí uma tabela com um "resumo" das informações, com 50 linhas. Cada linha tem um link que abre a integra do discurso do deputado X. O que estou tentando fazer: Salvar essa tabela com o "resumo" -> clicar na integra do discurso do deputado X -> salvar a integra do discurso X -> voltar para a página anterior com os "resumos" -> clicar na integra do discurso Y -> salvar -> voltar.... -> ir para a próxima página e repetir todo o processo até a última página.

Para isso tentei utilizar o seguinte loop:

tabela=[]   
html_element=[]
item=[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,
      30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50]

while True:
    try:
        for i in item:
            if i < 50:
                WebDriverWait(driver, 15).until(
                    EC.presence_of_element_located((By.XPATH, "//*[@id='content']/div/table/tbody")))
                driver.find_elements_by_class_name("glyphicon.glyphicon-file")[i].click()
                WebDriverWait(driver, 15).until(
                    EC.presence_of_element_located((By.ID, "content")))
                html_element.append(driver.find_element_by_xpath("//*[@id='content']").get_attribute('outerHTML'))
                driver.execute_script("window.history.go(-1)")
                WebDriverWait(driver, 15).until(
                    EC.presence_of_element_located((By.XPATH, "//*[@id='content']/div/table/tbody")))
            elif i == 50:
                tabela.append(driver.find_element_by_xpath("//*[@id='content']/div/table"))
                WebDriverWait(driver, 15).until(
                    EC.presence_of_element_located((By.XPATH, "//*[@id='content']/div/table/tbody")))
                driver.execute_script("return arguments[0].scrollIntoView(true);", WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//*[@title='Próxima Página']"))))
                driver.find_element_by_xpath("//*[@title='Próxima Página']").click()
                print("Próxima página")
    except (TimeoutException, WebDriverException) as e:
        print("Última página")
        break 

Ele funciona parcialmente, eu consigo obter a integra do discurso do deputado. Porém não estou conseguindo ir para a próxima página ou avança duas, e tem momentos em que ele volta duas páginas o que acaba resultando em dados errados.

1 Resposta 1

1

Conforme artigo do Sasa Buklijas - Do not use Selenium for web scraping, Selenium é uma ferramenta para testes automatizados de aplicações web, não é uma ferramenta de Web Scraping (extração de dados de sites da web ), até podendo ser utilizado em algumas situações, mas normalmente é mais lenta e mais difícil de se realizar a extração dos dados. Recomenda-se utilizar ferramentas específicas de Web Scraping como as bibliotecas "Scrapy" e "Beautiful Soup + Requests" do Python, que facilitam a extração dos dados de páginas.

Segue um exemplo de programa em Python utilizando as bibliotecas "Beautiful Soup + Requests" que realiza a extração dos Discursos dos Deputados:

# WEB SCRAPER PARA BAIXAR DISCURSOS DA CAMARA
# Autor: Rodrigo Eggea 19/05/2020
import requests
from bs4 import BeautifulSoup 

def save_page(url,filename):
    header = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
    request = requests.get(url,headers=header)
    request.encoding = 'utf-8'
    page = request.text
    file = open(filename,'w+')
    file.write(page)
    file.close()
    print('Arquivo salvo: ' + filename)

url_template='''https://www.camara.leg.br/internet/sitaqweb/resultadoPesquisaDiscursos.asp?CurrentPage=1&PageSize=1000&BasePesq=plenario&txIndexacao=&txOrador=&txPartido=&dtInicio=01/01/2019&dtFim=31/12/2019&txUF=&txSessao=&listaTipoSessao=&listaTipoInterv=&inFalaPres=&listaTipoFala=&listaFaseSessao=&txAparteante=&listaEtapa=&CampoOrdenacao=dtSessao&TipoOrdenacao=DESC&txTexto=&txSumario='''

for page_number in range(1,22):
    url=url_template.replace('CurrentPage=1','CurrentPage=' + str(page_number))  # MUDA DE PAGINA        
    print('-------------------------------------------------')
    print('PAGINA=',page_number)
    header = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
    request = requests.get(url, headers=header)
    request.encoding = 'utf-8'     # Forçar o Encoding para UTF-8 (senão request acha que é ISO-8859-1)
    page= request.text
    print('ENCODING=', request.encoding)
    soup = BeautifulSoup(page,'html.parser')

    table = soup.find('table', attrs={'class':'variasColunas'})
    table_body = table.find('tbody')
    rows = table_body.find_all('tr')
    for row in rows:
        if len(row)==17:
            tag_a  = row.find('a', href=True)
            cols   = row.find_all('td')
            DATA   = cols[0].text.strip()
            SESSAO = cols[1].text.strip()
            FASE   = cols[2].text.strip()
            ORADOR = cols[5].text.strip()
            HORA   = cols[6].text.strip()
            PUBLICACAO=cols[7].text.strip()
            print(f'DATA={DATA} SESSAO={SESSAO} FASE={FASE} ORADOR={ORADOR} HORA={HORA} PUBLICACAO={PUBLICACAO}')
            # ------ SALVA PAGINA DO DISCURSO -----------
            if tag_a: 
                raw_path = tag_a['href']
                fixed_path = raw_path.replace('\r\n','').replace('\t','').replace(' ','%20') 
                discurso_url= 'https://www.camara.leg.br/internet/sitaqweb/' + fixed_path
                print('LINK DISCURSO=',discurso_url)
                save_page(discurso_url,PUBLICACAO.replace('/','') + ' ' +  HORA + '.html')
            #-----------------------------------------
        if len(row)==3:
            sumario=row.find('td').text.strip()
            print('SUMARIO=',sumario)

Observações:

Na URL de chamada da página:

https://www.camara.leg.br/internet/sitaqweb/resultadoPesquisaDiscursos.asp?CurrentPage=1&PageSize=1000&BasePesq=plenario&txIndexacao=&txOrador=&txPartido=&dtInicio=01/01/2019&dtFim=31/12/2019&txUF=&txSessao=&listaTipoSessao=&listaTipoInterv=&inFalaPres=&listaTipoFala=&listaFaseSessao=&txAparteante=&listaEtapa=&CampoOrdenacao=dtSessao&TipoOrdenacao=DESC&txTexto=&txSumario=

O CurrentPage= é a página que você quer visitar, e o PageSize= é a quantidade de Itens por página que o site vai trazer na tabela, mas se você colocar mais do que 1000 itens a página não carrega. No exemplo acima está configurado para mostrar 1000 itens por página, e serão visitadas 21 páginas.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .