Ideia
Minha ideia é extrair alguns dados do Campeonato Brasileiro Série A na era dos pontos corridos (2003-2021) no site besoccer.
Ferramentas utilizadas
- Linguagem R
- RStudio
- Bibliotecas
robotstxt
,rvest
,dplyr
,writexl
- Extensão
SelectorGadget
para Google Chrome
Código
# Importando bibliotecas
library("robotstxt")
library("rvest")
library("dplyr")
library("writexl")
# Verificando se o site aceita extração automatizada
links <- c("https://www.besoccer.com/", "https://www.besoccer.com/competition/scores/serie_a_brazil/NNN")
paths_allowed(links)
# Links das páginas e extração dos htmls
years <- 2003:2021
br_links <- paste("https://www.besoccer.com/competition/scores/serie_a_brazil/",
years, sep = "")
htmls <- br_links %>%
lapply(read_html)
# Extraindo informações
for (html in htmls) {
partidas <- htmls %>%
html_nodes("#mod_competition_season .item-col:nth-child(1) .main-line") %>%
html_text()
total_partidas <- as.numeric(partidas)
}
Explicação do código
Utilizo a biblioteca "robotstxt" para verificar se o site aceita a extração dos dados. Dei uma olhada no HTML da página e verifiquei que o "NNN" é substituído pelo ano da competição e, por isso, concluí que se passasse no teste não haveria problema de extrair dados das páginas dos campeonatos de 2003 até 2021.
Como disse anteriormente, eu notei que a url do campeonato era sempre a mesma, apenas mudando o ano no final. Para facilitar o acesso às páginas, criei um vetor com os anos (2003 até 2021) e criei um objeto para armazenar os links das 19 competições que obtive com o uso da função
paste
, em que utilizei o "prefixo" da página e o vetor com os anos. O resultado é um objeto do tipo caractere com 19 entradas (uma para cada ano do campeonato).Utilizei a função
read_html
do pacotervest
para obter o HTML das páginas. Como eu tinha um conjunto do tipo caractere, optei por utilizar a funçãolapply
para iterar no conjunto e extrair o HTML. O resultado é uma lista com o HTML das 19 páginas da competição.Por fim, trago um exemplo de informação que quero extrair (número de partidas do campeonato). Para isso, utilizo a função
html_nodes
do pacotervest
para apontar qual é o selector CSS que quero que seja encontrado. Utilizei a extensão do Chrome para obter o selector exato. Após, utilizo a funçãohtml_text
do pacotervest
para transformar a informação em texto e, finalmente, converto para uma informação numérica para posterior cálculo (já que não se faz cálculo com strings/textos). Utilizei um laço de repetição para iterar por todas as páginas.
O problema
Após executar o que expliquei no passo 4 acima, eu obtive o seguinte erro:
Error in UseMethod("xml_find_all") : no applicable method for 'xml_find_all' applied to an object of class "list".
A minha interpretação do erro é que o método da função não é aplicável para uma lista, e aí minha cabeça bugou, pois tentei desfazer a lista aplicando os índices no loop e não tive sucesso. Acredito que tem algum problema com a minha lógica no problema, mas infelizmente não estou conseguindo achar o erro sozinho.
Dúvidas
Minhas dúvidas são: como eu posso extrair a mesma informação de todas as 19 páginas, já que o selector é o mesmo em todas as páginas? O que há de errado no meu loop? Se alguém puder me apontar o erro, a solução e me explicar, eu agradeço muito!
Edit1: uma coisa importante que esqueci de salientar é que testei o que estava dentro do for loop em apenas uma página para ver se o que escrevi no objeto "partidas" rodaria se fosse em apenas um HTML, e não em uma lista de HTML's... e a resposta é que funcionou sim!