Antes de fazer uma raspagem primeiro verifique se o site alvo dessa raspagem oferece uma API provendo acesso direto ao banco da dados do site.
import pandas as pd
import urllib.request, urllib.parse, json
pd.set_option('max_columns', None) #Configura para exibir todas as colunas do dataframe
#Configura os parâmetros da consulta
params= urllib.parse.urlencode({
"action": "parse",
"pageid": "201178", #Explicado como foi obtido na reposta abaixo.
"section": "13", #Explicado como foi obtido na reposta abaixo.
"prop": "text",
"format": "json",
"utf8": "1"
})
#Define o endpoint
endpoint = "https://pt.wikipedia.org/w/api.php?%s" % params
#Abre o documento HTML contendo a tabela Classificação final que estará localizado na chave ["parse"]["text"]["*"] da resposta.
with urllib.request.urlopen(endpoint) as url:
html = json.loads(url.read().decode())["parse"]["text"]["*"]
df = pd.read_html(html)[0] #pd.read_html retorna uma lista de dataframes, no caso há apenas um contendo os dados da tabela Classificação final.
print(df)
Teste o exemplo no Repl.it
No seu caso específico você quer raspar os dados duma página da Wikipédia:
https://pt.wikipedia.org/wiki/Campeonato_Brasileiro_de_Futebol_de_1971
Seu objetivo é extrair a tabela Classificação final:
Mas o seu código retorna apenas a raspagem dos dados da tabela Participantes:
Antes de fazer uma raspagem primeiro verifique se o site alvo dessa raspagem oferece uma API provendo acesso direto ao banco da dados do site.
A Wikipédia oferece aos seus usuários o serviço Wikipédia:Central de pesquisas/Portal de dados/API onde se definem como um serviço de API web que provê acesso direto ao banco da dados do MediaWiki que é a engine por detrás do Wikipédia.
Para consultar o banco de dados, você envia uma solicitação HTTP GET para o endpoint desejado, por exemplo https://pt.wikipedia.org/w/api.php? é o endpoint para Wikipédia em Português.
Podem ser consultadas as seguinte informações:
- Meta informações sobre a Wiki e usuários logados.
- Propriedades das páginas, incluindo revisões e conteúdo, ligações externas, categorias, modelos, etc.
- Lista de páginas dentro de um certo critério.
Essas informações podem ser retornadas nos seguintes formatos:
- JSON (e JSON com elementos HTML)
- WDDX
- XML
- YAML
- PHP's native serialization (também nos formatos PHP
print_r()
,PHP var_export()
,PHP var_dump()
)
Inicialmente faça uma consulta no próprio navegador para obter os metadados sobre a página em questão(veja Main module e action=parse):
https://pt.wikipedia.org/w/api.php?action=parse&prop=sections&page=Campeonato_Brasileiro_de_Futebol_de_1971&utf8=1
Logo ao início já é apresentada uma informação importante:
{
"parse": {
"title": "Campeonato Brasileiro de Futebol de 1971",
"pageid": 201178,
"sections": [
{
A chave "pageid": 201178
nos informa o id da página Campeonato Brasileiro de Futebol de 1971 dentro do banco de dados da Wikipédia em Português.
Mais adiante dentro do array "sections"
:
{
"toclevel": 1,
"level": "2",
"line": "Classificação final",
"number": "8",
"index": "13",
"fromtitle": "Campeonato_Brasileiro_de_Futebol_de_1971",
"byteoffset": 50518,
"anchor": "Classificação_final"
}
A chave "anchor": "Classificação_final"
indica a ancora para o tópico de interesse, no caso a tabela Classificação final, e "index": "13"
é o numero da seção contendo a tabela.
Munido dessas informações basta o seguinte script python para obter a informação desejada, o exemplo precisa além do módulo pandas precisa ter instalado o módulo lxml:
import pandas as pd
import urllib.request, urllib.parse, json
pd.set_option('max_columns', None) #Configura para exibir todas as colunas do dataframe
#Configura os parâmetros da consulta
params= urllib.parse.urlencode({
"action": "parse",
"pageid": "201178", #o id da página Campeonato Brasileiro de Futebol de 1971 dentro do banco de dados da Wikipédia em Português.
"section": "13", #o numero da seção contendo a tabela
"prop": "text",
"format": "json",
"utf8": "1"
})
#Define o endpoint
endpoint = "https://pt.wikipedia.org/w/api.php?%s" % params
#Abre o documento HTML contendo a tabela Classificação final que estará localizado na chave ["parse"]["text"]["*"] da resposta.
with urllib.request.urlopen(endpoint) as url:
html = json.loads(url.read().decode())["parse"]["text"]["*"]
df = pd.read_html(html)[0] #pd.read_html retorna uma lista de dataframes, no caso há apenas um contendo os dados da tabela Classificação final.
print(df)
Resultando:
Pos Times Pts J V E D GP GC SG % /
0 1 Atlético Mineiro 34 27 12 10 5 39 22 17 63
1 2 São Paulo 30 27 10 10 7 26 23 3 56
2 3 Botafogo 28 27 8 12 7 27 27 0 52
3 4 Corinthians 31 25 12 7 6 33 21 12 62
4 5 Internacional 30 25 10 10 5 28 23 5 60
5 6 Grêmio 29 25 10 9 6 24 18 6 58
6 7 Palmeiras 28 25 9 10 6 27 20 7 56
7 8 Cruzeiro 28 25 8 12 5 28 17 11 56
8 9 Santos 27 25 9 9 7 24 16 8 54
9 10 Coritiba 26 25 11 4 10 23 25 -2 52
10 11 America 26 25 8 10 7 27 21 6 52
11 12 Vasco da Gama 23 25 7 9 9 15 22 -7 46
12 13 Bahia 18 19 5 8 6 14 16 -2 47
13 14 Flamengo 18 19 4 10 5 13 17 -4 47
14 15 Santa Cruz 17 19 3 11 5 17 23 -6 45
15 16 Fluminense 16 19 5 6 8 12 13 -1 42
16 17 Portuguesa 15 19 6 3 10 16 24 -8 40
17 18 América Mineiro 13 19 2 9 8 11 19 -8 35
18 19 Sport 12 19 4 4 11 10 27 -17 32
19 20 Ceará 9 19 2 5 12 5 25 -20 24
Classificação ou rebaixamento
0 Fase de grupos da Copa Libertadores de 1972.
1 Fase de grupos da Copa Libertadores de 1972.
2 Também participou da fase final.
3 Participaram da segunda fase.
4 Participaram da segunda fase.
5 Participaram da segunda fase.
6 Participaram da segunda fase.
7 Participaram da segunda fase.
8 Participaram da segunda fase.
9 Participaram da segunda fase.
10 Participaram da segunda fase.
11 Participaram da segunda fase.
12 Participaram da primeira fase.
13 Participaram da primeira fase.
14 Participaram da primeira fase.
15 Participaram da primeira fase.
16 Participaram da primeira fase.
17 Participaram da primeira fase.
18 Participaram da primeira fase.
19 Participaram da primeira fase.
Teste o exemplo no Repl.it