2

Ideia

Minha ideia é extrair alguns dados do Campeonato Brasileiro Série A na era dos pontos corridos (2003-2021) no site besoccer.

Ferramentas utilizadas

  • Linguagem R
  • RStudio
  • Bibliotecas robotstxt, rvest, dplyr, writexl
  • Extensão SelectorGadget para Google Chrome

Código

# Importando bibliotecas
library("robotstxt")
library("rvest")
library("dplyr")
library("writexl")

# Verificando se o site aceita extração automatizada
links <- c("https://www.besoccer.com/", "https://www.besoccer.com/competition/scores/serie_a_brazil/NNN")

paths_allowed(links)

# Links das páginas e extração dos htmls
years <- 2003:2021
br_links <- paste("https://www.besoccer.com/competition/scores/serie_a_brazil/",
                  years, sep = "")

htmls <- br_links %>%
  lapply(read_html)

# Extraindo informações  
for (html in htmls) {
  partidas <- htmls %>%
    html_nodes("#mod_competition_season .item-col:nth-child(1) .main-line") %>%
    html_text()
  total_partidas <- as.numeric(partidas)
}

Explicação do código

  1. Utilizo a biblioteca "robotstxt" para verificar se o site aceita a extração dos dados. Dei uma olhada no HTML da página e verifiquei que o "NNN" é substituído pelo ano da competição e, por isso, concluí que se passasse no teste não haveria problema de extrair dados das páginas dos campeonatos de 2003 até 2021.

  2. Como disse anteriormente, eu notei que a url do campeonato era sempre a mesma, apenas mudando o ano no final. Para facilitar o acesso às páginas, criei um vetor com os anos (2003 até 2021) e criei um objeto para armazenar os links das 19 competições que obtive com o uso da função paste, em que utilizei o "prefixo" da página e o vetor com os anos. O resultado é um objeto do tipo caractere com 19 entradas (uma para cada ano do campeonato).

  3. Utilizei a função read_html do pacote rvest para obter o HTML das páginas. Como eu tinha um conjunto do tipo caractere, optei por utilizar a função lapply para iterar no conjunto e extrair o HTML. O resultado é uma lista com o HTML das 19 páginas da competição.

  4. Por fim, trago um exemplo de informação que quero extrair (número de partidas do campeonato). Para isso, utilizo a função html_nodes do pacote rvest para apontar qual é o selector CSS que quero que seja encontrado. Utilizei a extensão do Chrome para obter o selector exato. Após, utilizo a função html_text do pacote rvest para transformar a informação em texto e, finalmente, converto para uma informação numérica para posterior cálculo (já que não se faz cálculo com strings/textos). Utilizei um laço de repetição para iterar por todas as páginas.

O problema

Após executar o que expliquei no passo 4 acima, eu obtive o seguinte erro:

Error in UseMethod("xml_find_all") : no applicable method for 'xml_find_all' applied to an object of class "list".

A minha interpretação do erro é que o método da função não é aplicável para uma lista, e aí minha cabeça bugou, pois tentei desfazer a lista aplicando os índices no loop e não tive sucesso. Acredito que tem algum problema com a minha lógica no problema, mas infelizmente não estou conseguindo achar o erro sozinho.

Dúvidas

Minhas dúvidas são: como eu posso extrair a mesma informação de todas as 19 páginas, já que o selector é o mesmo em todas as páginas? O que há de errado no meu loop? Se alguém puder me apontar o erro, a solução e me explicar, eu agradeço muito!

Edit1: uma coisa importante que esqueci de salientar é que testei o que estava dentro do for loop em apenas uma página para ver se o que escrevi no objeto "partidas" rodaria se fosse em apenas um HTML, e não em uma lista de HTML's... e a resposta é que funcionou sim!

1 Resposta 1

2

Eu resolvi esse problema com um for indexado pela posição dos elementos na lista htmls. Em primeiro lugar, criei um objeto chamado total_partidas, a fim de salvar os resultados intermediários. Meu índice j varia de 1 até o tamanho da lista htmls. Aí só adaptei o teu código, a fim de que ele salvasse cada resultado da combinação de html_nodes e html_text na posição correta de total_partidas. O resultado está logo abaixo.

# Extraindo informações
total_partidas <- NA
for (j in 1:length(htmls)) {
  partidas <- htmls[[j]] %>%
    html_nodes("#mod_competition_season .item-col:nth-child(1) .main-line") %>%
    html_text()
  total_partidas[j] <- as.numeric(partidas)
}

total_partidas
#>  [1] 552 552 462 380 380 380 380 380 380 380 380 380 380 379 380 380 380 380 380

Created on 2022-04-17 by the reprex package (v2.0.1)

Você deve fazer log-in para responder a esta pergunta.