O código é programado para baixar de acordo com a data de check-in o nome do hotel (nomes_inomes_i
), o nome do quarto (quarto_iquarto_i
) e a tarifa do dia (precos_iprecos_i
), tanto o atual quanto dos próximos 502 dias (é programado para baixar 731 dias, mas o site disponibiliza apenas 502).
O código baixa essas variáveis e armazena em um dataframe (banco_precos_ibanco_precos_i
) que vai compor o dataframe da página(banco_precosbanco_precos
) e posteriormente o dataframe do dia (banco_precos_diabanco_precos_dia
). Ao final os dados de todos os dias irão compor um único dataframe (banco_precos_finalbanco_precos_final
).
Quando chega no dia 10/09/2020, e durante alguns dias de setembro, o número linhas de quarto_iquarto_i
é inferior a nomes_inomes_i
e precos_iprecos_i
, que tem sempre o mesmo tamanho, o que impossibilita de gerar o dataframe banco_precos_i e consequentemente os demais. [erro
Erro informado: Error in data.frame(nomes_i, quarto_i, precos_i, stringsAsFactors = F) : arguments imply differing number of rows: 18, 17].
Error in data.frame(nomes_i, quarto_i, precos_i, stringsAsFactors = F) : arguments imply differing number of rows: 18, 17].
Como solução estou colocando durante o mês de setembro todos os dados de quarto_iquarto_i
para baixar como NA, mas essa informação é muito importante para minha análise e gostaria de tentar outra solução.
Tentei as duas sugestões que constam no link a seguiraqui, para baixar apenas o dado faltante como NA : https://stackoverflow.com/questions/45901532/inputting-na-where-there-are-missing-values-when-scraping-with-rvest
, mas não funcionou. Alguém tem outra sugestão?
PS.: estou informando apenas as partes do código que estão relacionados ao problema:
library(lubridate)
library(rvest)
library(devtools)
library(tidyverse)
library(rlang)
library(curl)
inicio <- today()
dias <- 0
banco_precos_dia <- c()
banco_precos_final <- c()
for (i in 0:731) {
data do checkin
diacheckin <- as.Date("2020-09-10")+ddays(i) #estou colocando o as.Date aqui para o código já começar a baixar de onde dá erro, geralmente a variável que vai aqui é inicio
diain <- as.numeric(day(diacheckin))
mesin <- as.numeric(month(diacheckin))
anoin <- as.numeric(year(diacheckin))
data do check out
diacheckout <- diacheckin+ddays(1)
diaout <- as.numeric(day(diacheckout))
mesout <- as.numeric(month(diacheckout))
anoout <- as.numeric(year(diacheckout))
qtd <- 250 #existe uma programação para calcular exatamente a quantidade aqui, mas ela não é relevante para este problema
banco_precos <- c()
banco_precos_i <- c()
for(j in seq(0,qtd,25)){
url_number <- j
library(lubridate)
library(rvest)
library(devtools)
library(tidyverse)
library(rlang)
library(curl)
inicio <- today()
dias <- 0
banco_precos_dia <- c()
banco_precos_final <- c()
for (i in 0:731) {
# data do checkin
diacheckin <- as.Date("2020-09-10")+ddays(i) #estou colocando o as.Date aqui para o código já começar a baixar de onde dá erro, geralmente a variável que vai aqui é inicio
diain <- as.numeric(day(diacheckin))
mesin <- as.numeric(month(diacheckin))
anoin <- as.numeric(year(diacheckin))
# data do check out
diacheckout <- diacheckin+ddays(1)
diaout <- as.numeric(day(diacheckout))
mesout <- as.numeric(month(diacheckout))
anoout <- as.numeric(year(diacheckout))
qtd <- 250 #existe uma programação para calcular exatamente a quantidade aqui, mas ela não é relevante para este problema
banco_precos <- c()
banco_precos_i <- c()
for(j in seq(0,qtd,25)){
url_number <- j
#buscando a pagina
url <- curl(paste0('https://www.booking.com/searchresults.pt-br.html?aid=304142&label=gen173nr-1FCAEoggI46AdIM1gEaCCIAQGYAS24ARfIAQzYAQHoAQH4AQuIAgGoAgO4AvCp5vIFwAIB&sid=b0ea1003a80543236a20e94559c4ed28&tmpl=searchresults&checkin_month=',mesin,'&checkin_monthday=',diain,'&checkin_year=',anoin,'&checkout_month=',mesout,'&checkout_monthday=',diaout,'&checkout_year=',anoout,'&city=-656888&class_interval=1&dest_id=-656888&dest_type=city&dtdisc=0&from_sf=1&group_adults=2&group_children=0&inac=0&index_postcard=0&label_click=undef&nflt=ht_id%3D203%3Bht_id%3D204%3Bht_id%3D206%3Bht_id%3D216%3B&no_rooms=1&postcard=0&room1=A%2CA&sb_price_type=total&shw_aparth=1&slp_r_match=0&src=searchresults&src_elem=sb&srpvid=3de2a5cdcd850113&ss=Natal&ss_all=0&ssb=empty&sshis=0&ssne=Natal&ssne_untouched=Natal&top_ufis=1&rows=25&offset=',url_number), "rb")
#lendo a pagina
page <- read_html(url)
#nome dos hoteis
nomes_i <-page %>%
html_nodes(".sr-hotel__name") %>%
html_text()%>%
{if(length(.) == 0) NA else .}
#nome dos hoteis
nomes_i <-page %>%
html_nodes(".sr-hotel__name") %>%
html_text()%>%
{if(length(.) == 0) NA else .}
#nome do quarto
quarto_i <- page%>%
html_nodes(".room_link strong , .sold_out_property") %>%
html_text()%>%
{if(length(.) == 0) NA else .}
quando chega no dia 10/09 e o erro ocorre, eu paro o código, troco o código acima por quarto_i<- NA, espero baixar o mês de setembro e volto a baixar outubro em diante com o código acima - tudo manualmente
#precos
precos_i <- page %>%
html_nodes(".bui-price-display__value , .sold_out_property ") %>%
html_text()%>%
{if(length(.) == 0) NA else .}
#*quando chega no dia 10/09 e o erro ocorre, eu paro o código, troco o código acima por quarto_i<- NA, espero baixar o mês de setembro e volto a baixar outubro em diante com o código acima - tudo manualmente*
#precos
precos_i <- page %>%
html_nodes(".bui-price-display__value , .sold_out_property ") %>%
html_text()%>%
{if(length(.) == 0) NA else .}
#construindo o banco de dados de cada página
banco_precos_i <- data.frame(nomes_i, quarto_i, precos_i, stringsAsFactors = F)
#alimentando o banco de dados de um dia
banco_precos <- rbind(banco_precos ,banco_precos_i)
#banco de preço dia
banco_precos_dia <- cbind(inicio,banco_precos,diacheckin)
#suspender execucao no R por 3 seg
Sys.sleep(3)
}
banco_precos_final <- rbind(banco_precos_final, banco_precos_dia)
}
}
}
banco_precos_final <- rbind(banco_precos_final, banco_precos_dia)
}
}