1

Estou tentando fazer scraping da tabela de classificação final do campeonato brasileiro de 1971, disponível na wikipedia. O máximo que consegui foi pegar a primeira tabela, e mesmo ela, não consegui tratar os dados. Alguém pode me ajudar?

O que eu fiz:

from bs4 import BeautifulSoup
import pandas as pd
from urllib.request import Request, urlopen
from urllib.error import URLError, HTTPError
import urllib3
import requests

website_url = requests.get('https://pt.wikipedia.org/wiki/Campeonato_Brasileiro_de_Futebol_de_1971').text

soup = BeautifulSoup(website_url,'lxml')
print(soup.prettify())

tabela = soup.find('table',{'class':'wikitable'})

links = tabela.findAll('a')

Times = []
for link in links:
  Times.append(link.get('title'))

print(Times)

df = pd.DataFrame()
df['Times'] = Times

df

Como resultado, tenho um dataframe da primeira tabela, e com dados desnecessários (como o estado, que vinha no 'alt' das imagens):

Times
0   America Football Club (Rio de Janeiro)
1   Rio de Janeiro (cidade)
2   Guanabara
3   Guanabara
4   América Futebol Clube (Belo Horizonte)
... ...
89  Pernambuco
90  Club de Regatas Vasco da Gama
91  Rio de Janeiro (cidade)
92  Guanabara
93  Guanabara
1
  • Por favor, edite a pergunta para limitá-la a um problema específico com detalhes suficientes para identificar uma resposta adequada.
    – Comunidade Bot
    Commented 26/11/2021 às 16:41

1 Resposta 1

2

Antes de fazer uma raspagem primeiro verifique se o site alvo dessa raspagem oferece uma API provendo acesso direto ao banco da dados do site.

import pandas as pd

import urllib.request, urllib.parse, json 

pd.set_option('max_columns', None)           #Configura para exibir todas as colunas do dataframe

#Configura os parâmetros da consulta
params= urllib.parse.urlencode({
  "action": "parse",
  "pageid": "201178",     #Explicado como foi obtido na reposta abaixo.
  "section": "13",        #Explicado como foi obtido na reposta abaixo.
  "prop": "text",
  "format": "json",
  "utf8": "1"
})
#Define o endpoint
endpoint = "https://pt.wikipedia.org/w/api.php?%s" % params

#Abre o documento HTML contendo a tabela Classificação final que estará localizado na chave ["parse"]["text"]["*"] da resposta.
with urllib.request.urlopen(endpoint) as url:
    html = json.loads(url.read().decode())["parse"]["text"]["*"]

df = pd.read_html(html)[0]        #pd.read_html retorna uma lista de dataframes, no caso há apenas um contendo os dados da tabela Classificação final.

print(df)

Teste o exemplo no Repl.it

No seu caso específico você quer raspar os dados duma página da Wikipédia:

https://pt.wikipedia.org/wiki/Campeonato_Brasileiro_de_Futebol_de_1971

Seu objetivo é extrair a tabela Classificação final: Tabela Classificação final Campeonato Brasileiro de Futebol de 1971

Mas o seu código retorna apenas a raspagem dos dados da tabela Participantes: Tabela Participantes Campeonato Brasileiro de Futebol de 1971

Antes de fazer uma raspagem primeiro verifique se o site alvo dessa raspagem oferece uma API provendo acesso direto ao banco da dados do site.
A Wikipédia oferece aos seus usuários o serviço Wikipédia:Central de pesquisas/Portal de dados/API onde se definem como um serviço de API web que provê acesso direto ao banco da dados do MediaWiki que é a engine por detrás do Wikipédia.

Para consultar o banco de dados, você envia uma solicitação HTTP GET para o endpoint desejado, por exemplo https://pt.wikipedia.org/w/api.php? é o endpoint para Wikipédia em Português.
Podem ser consultadas as seguinte informações:

  • Meta informações sobre a Wiki e usuários logados.
  • Propriedades das páginas, incluindo revisões e conteúdo, ligações externas, categorias, modelos, etc.
  • Lista de páginas dentro de um certo critério.

Essas informações podem ser retornadas nos seguintes formatos:

  • JSON (e JSON com elementos HTML)
  • WDDX
  • XML
  • YAML
  • PHP's native serialization (também nos formatos PHP print_r(),PHP var_export(),PHP var_dump())

Inicialmente faça uma consulta no próprio navegador para obter os metadados sobre a página em questão(veja Main module e action=parse):

https://pt.wikipedia.org/w/api.php?action=parse&prop=sections&page=Campeonato_Brasileiro_de_Futebol_de_1971&utf8=1

Logo ao início já é apresentada uma informação importante:

{
    "parse": {
        "title": "Campeonato Brasileiro de Futebol de 1971",
        "pageid": 201178,
        "sections": [
            {

A chave "pageid": 201178 nos informa o id da página Campeonato Brasileiro de Futebol de 1971 dentro do banco de dados da Wikipédia em Português.
Mais adiante dentro do array "sections":

{
   "toclevel": 1,
   "level": "2",
   "line": "Classificação final",
   "number": "8",
   "index": "13",
   "fromtitle": "Campeonato_Brasileiro_de_Futebol_de_1971",
   "byteoffset": 50518,
   "anchor": "Classificação_final"
}

A chave "anchor": "Classificação_final" indica a ancora para o tópico de interesse, no caso a tabela Classificação final, e "index": "13" é o numero da seção contendo a tabela.

Munido dessas informações basta o seguinte script python para obter a informação desejada, o exemplo precisa além do módulo pandas precisa ter instalado o módulo lxml:

import pandas as pd

import urllib.request, urllib.parse, json 

pd.set_option('max_columns', None)           #Configura para exibir todas as colunas do dataframe

#Configura os parâmetros da consulta
params= urllib.parse.urlencode({
  "action": "parse",
  "pageid": "201178",                 #o id da página Campeonato Brasileiro de Futebol de 1971 dentro do banco de dados da Wikipédia em Português.     
  "section": "13",                    #o numero da seção contendo a tabela
  "prop": "text",
  "format": "json",
  "utf8": "1"
})
#Define o endpoint
endpoint = "https://pt.wikipedia.org/w/api.php?%s" % params

#Abre o documento HTML contendo a tabela Classificação final que estará localizado na chave ["parse"]["text"]["*"] da resposta.
with urllib.request.urlopen(endpoint) as url:
    html = json.loads(url.read().decode())["parse"]["text"]["*"]

df = pd.read_html(html)[0]        #pd.read_html retorna uma lista de dataframes, no caso há apenas um contendo os dados da tabela Classificação final.

print(df)

Resultando:

    Pos             Times  Pts   J   V   E   D  GP  GC  SG   %  /
0     1  Atlético Mineiro   34  27  12  10   5  39  22  17  63   
1     2         São Paulo   30  27  10  10   7  26  23   3  56   
2     3          Botafogo   28  27   8  12   7  27  27   0  52   
3     4       Corinthians   31  25  12   7   6  33  21  12  62   
4     5     Internacional   30  25  10  10   5  28  23   5  60   
5     6            Grêmio   29  25  10   9   6  24  18   6  58   
6     7         Palmeiras   28  25   9  10   6  27  20   7  56   
7     8          Cruzeiro   28  25   8  12   5  28  17  11  56   
8     9            Santos   27  25   9   9   7  24  16   8  54   
9    10          Coritiba   26  25  11   4  10  23  25  -2  52   
10   11           America   26  25   8  10   7  27  21   6  52   
11   12     Vasco da Gama   23  25   7   9   9  15  22  -7  46   
12   13             Bahia   18  19   5   8   6  14  16  -2  47   
13   14          Flamengo   18  19   4  10   5  13  17  -4  47   
14   15        Santa Cruz   17  19   3  11   5  17  23  -6  45   
15   16        Fluminense   16  19   5   6   8  12  13  -1  42   
16   17        Portuguesa   15  19   6   3  10  16  24  -8  40   
17   18   América Mineiro   13  19   2   9   8  11  19  -8  35   
18   19             Sport   12  19   4   4  11  10  27 -17  32   
19   20             Ceará    9  19   2   5  12   5  25 -20  24 

                   Classificação ou rebaixamento  
0   Fase de grupos da Copa Libertadores de 1972.  
1   Fase de grupos da Copa Libertadores de 1972.  
2               Também participou da fase final.  
3                  Participaram da segunda fase.  
4                  Participaram da segunda fase.  
5                  Participaram da segunda fase.  
6                  Participaram da segunda fase.  
7                  Participaram da segunda fase.  
8                  Participaram da segunda fase.  
9                  Participaram da segunda fase.  
10                 Participaram da segunda fase.  
11                 Participaram da segunda fase.  
12                Participaram da primeira fase.  
13                Participaram da primeira fase.  
14                Participaram da primeira fase.  
15                Participaram da primeira fase.  
16                Participaram da primeira fase.  
17                Participaram da primeira fase.  
18                Participaram da primeira fase.  
19                Participaram da primeira fase.

Teste o exemplo no Repl.it

1
  • 1
    Agradeço muito pela aula!
    – annacoloda
    Commented 1/12/2021 às 12:57

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .