Estou baixando as tarifas de hotéis em Natal- RN pelo site Booking.com.
O código é programado para baixar de acordo com a data de check-in o nome do hotel (nomes_i
), o nome do quarto (quarto_i
) e a tarifa do dia (precos_i
), tanto o atual quanto dos próximos 502 dias (é programado para baixar 731 dias, mas o site disponibiliza apenas 502).
O código baixa essas variáveis e armazena em um dataframe (banco_precos_i
) que vai compor o dataframe da página(banco_precos
) e posteriormente o dataframe do dia (banco_precos_dia
). Ao final os dados de todos os dias irão compor um único dataframe (banco_precos_final
).
Quando chega no dia 10/09/2020, na página 6 , e durante alguns dias de setembro, o número linhas de quarto_i
é diferente de nomes_i
e precos_i
, que tem sempre o mesmo tamanho, o que impossibilita de gerar o dataframe banco_precos_i e consequentemente os demais.
Erro informado:
Error in data.frame(nomes_i, quarto_i, precos_i, stringsAsFactors = F) : arguments imply differing number of rows: 18, 17].
Falta algum valor que não estou conseguindo capturar e nem inserir a informação NA no lugar dessa única informação faltante.
Como solução estou colocando durante o mês de setembro todos os dados de quarto_i
para baixar como NA, mas essa informação é muito importante para minha análise e gostaria de tentar outra solução.
Tentei as duas sugestões que constam aqui, para baixar apenas o dado faltante, mas não funcionou. Alguém tem outra sugestão?
PS.: estou informando apenas as partes do código que estão relacionados ao problema:
library(lubridate)
library(rvest)
library(devtools)
library(tidyverse)
library(rlang)
library(curl)
inicio <- today()
dias <- 0
banco_precos_dia <- c()
banco_precos_final <- c()
for (i in 0:731) {
# data do checkin
diacheckin <- as.Date("2020-09-10")+ddays(i) #estou colocando o as.Date aqui para o código já começar a baixar de onde dá erro, geralmente a variável que vai aqui é inicio
diain <- as.numeric(day(diacheckin))
mesin <- as.numeric(month(diacheckin))
anoin <- as.numeric(year(diacheckin))
# data do check out
diacheckout <- diacheckin+ddays(1)
diaout <- as.numeric(day(diacheckout))
mesout <- as.numeric(month(diacheckout))
anoout <- as.numeric(year(diacheckout))
qtd <- 250 #existe uma programação para calcular exatamente a quantidade aqui, mas ela não é relevante para este problema
banco_precos <- c()
banco_precos_i <- c()
for(j in seq(0,qtd,25)){
url_number <- j
#buscando a pagina
url <- curl(paste0('https://www.booking.com/searchresults.pt-br.html?aid=304142&label=gen173nr-1FCAEoggI46AdIM1gEaCCIAQGYAS24ARfIAQzYAQHoAQH4AQuIAgGoAgO4AvCp5vIFwAIB&sid=b0ea1003a80543236a20e94559c4ed28&tmpl=searchresults&checkin_month=',mesin,'&checkin_monthday=',diain,'&checkin_year=',anoin,'&checkout_month=',mesout,'&checkout_monthday=',diaout,'&checkout_year=',anoout,'&city=-656888&class_interval=1&dest_id=-656888&dest_type=city&dtdisc=0&from_sf=1&group_adults=2&group_children=0&inac=0&index_postcard=0&label_click=undef&nflt=ht_id%3D203%3Bht_id%3D204%3Bht_id%3D206%3Bht_id%3D216%3B&no_rooms=1&postcard=0&room1=A%2CA&sb_price_type=total&shw_aparth=1&slp_r_match=0&src=searchresults&src_elem=sb&srpvid=3de2a5cdcd850113&ss=Natal&ss_all=0&ssb=empty&sshis=0&ssne=Natal&ssne_untouched=Natal&top_ufis=1&rows=25&offset=',url_number), "rb")
#lendo a pagina
page <- read_html(url)
#nome dos hoteis
nomes_i <-page %>%
html_nodes(".sr-hotel__name") %>%
html_text()%>%
{if(length(.) == 0) NA else .}
#nome do quarto
quarto_i <- page%>%
html_nodes(".room_link strong , .sold_out_property") %>%
html_text()%>%
{if(length(.) == 0) NA else .}
#*quando chega no dia 10/09 e o erro ocorre, eu paro o código, troco o código acima por quarto_i<- NA, espero baixar o mês de setembro e volto a baixar outubro em diante com o código acima - tudo manualmente*
#precos
precos_i <- page %>%
html_nodes(".bui-price-display__value , .sold_out_property ") %>%
html_text()%>%
{if(length(.) == 0) NA else .}
#construindo o banco de dados de cada página
banco_precos_i <- data.frame(nomes_i, quarto_i, precos_i, stringsAsFactors = F)
#alimentando o banco de dados de um dia
banco_precos <- rbind(banco_precos ,banco_precos_i)
#banco de preço dia
banco_precos_dia <- cbind(inicio,banco_precos,diacheckin)
#suspender execucao no R por 3 seg
Sys.sleep(3)
}
banco_precos_final <- rbind(banco_precos_final, banco_precos_dia)
}
}
httr
pode ajudar).banco_precos_i
. Por isso diz que enquanto uma tem 18 elementos, outra tem 17. Nesse caso poderia introduzir uma verificação antes de criar obanco_precos_i
e pensar numa estratégia para igualar o tamanho dos vetores.rvest
para a raspagem, você sugere alguma função dohttr
que possa me ajudar ? Não vi funções nesse pacote que diferem do rvest para a raspagem. Conforme expliquei ao @Tusca, ao explorar as orientações dele descobri que na página 6 há um hotel em específico (Hostel Margo) que os valores vem diferentes. Não há a informação do quarto em.roomlink strong
para esse hotel e há dois quartos em.roomlink
, você tem alguma sugestão para solucionar isso?paste(texto_quartos, collapse = " ")
. Depois de feita a raspagem você poderia ou pensar em como tratarquarto2
na tabela, que fica quase sempre vazia, mas que nesses casos seria preenchidas. Ou ainda somar o tamanho de todos os quartos e só guardar essa informação.