1

Estou baixando as tarifas de hotéis em Natal- RN pelo site Booking.com.

O código é programado para baixar de acordo com a data de check-in o nome do hotel (nomes_i), o nome do quarto (quarto_i) e a tarifa do dia (precos_i), tanto o atual quanto dos próximos 502 dias (é programado para baixar 731 dias, mas o site disponibiliza apenas 502).

O código baixa essas variáveis e armazena em um dataframe (banco_precos_i) que vai compor o dataframe da página(banco_precos) e posteriormente o dataframe do dia (banco_precos_dia). Ao final os dados de todos os dias irão compor um único dataframe (banco_precos_final).

Quando chega no dia 10/09/2020, na página 6 , e durante alguns dias de setembro, o número linhas de quarto_i é diferente de nomes_i e precos_i, que tem sempre o mesmo tamanho, o que impossibilita de gerar o dataframe banco_precos_i e consequentemente os demais.

Erro informado:

Error in data.frame(nomes_i, quarto_i, precos_i, stringsAsFactors = F) : arguments imply differing number of rows: 18, 17]. 

Falta algum valor que não estou conseguindo capturar e nem inserir a informação NA no lugar dessa única informação faltante.

Como solução estou colocando durante o mês de setembro todos os dados de quarto_i para baixar como NA, mas essa informação é muito importante para minha análise e gostaria de tentar outra solução.

Tentei as duas sugestões que constam aqui, para baixar apenas o dado faltante, mas não funcionou. Alguém tem outra sugestão?

PS.: estou informando apenas as partes do código que estão relacionados ao problema:

library(lubridate) 
library(rvest) 
library(devtools)
library(tidyverse) 
library(rlang) 
library(curl)

inicio <- today()
dias <- 0
banco_precos_dia <- c()
banco_precos_final <- c()

for (i in 0:731) {

# data do checkin 
  diacheckin <-  as.Date("2020-09-10")+ddays(i) #estou colocando o as.Date aqui para o código já começar a baixar de onde dá erro, geralmente a variável que vai aqui é inicio
  diain <- as.numeric(day(diacheckin))
  mesin <- as.numeric(month(diacheckin))
  anoin <- as.numeric(year(diacheckin))

# data do check out
  diacheckout <- diacheckin+ddays(1)
  diaout <- as.numeric(day(diacheckout))
  mesout <- as.numeric(month(diacheckout))
  anoout <- as.numeric(year(diacheckout))

qtd <- 250 #existe uma programação para calcular exatamente a quantidade aqui, mas ela não é relevante para este problema

  banco_precos <- c()
  banco_precos_i <- c()

  for(j in seq(0,qtd,25)){
    url_number <- j

    #buscando a pagina

    url <- curl(paste0('https://www.booking.com/searchresults.pt-br.html?aid=304142&label=gen173nr-1FCAEoggI46AdIM1gEaCCIAQGYAS24ARfIAQzYAQHoAQH4AQuIAgGoAgO4AvCp5vIFwAIB&sid=b0ea1003a80543236a20e94559c4ed28&tmpl=searchresults&checkin_month=',mesin,'&checkin_monthday=',diain,'&checkin_year=',anoin,'&checkout_month=',mesout,'&checkout_monthday=',diaout,'&checkout_year=',anoout,'&city=-656888&class_interval=1&dest_id=-656888&dest_type=city&dtdisc=0&from_sf=1&group_adults=2&group_children=0&inac=0&index_postcard=0&label_click=undef&nflt=ht_id%3D203%3Bht_id%3D204%3Bht_id%3D206%3Bht_id%3D216%3B&no_rooms=1&postcard=0&room1=A%2CA&sb_price_type=total&shw_aparth=1&slp_r_match=0&src=searchresults&src_elem=sb&srpvid=3de2a5cdcd850113&ss=Natal&ss_all=0&ssb=empty&sshis=0&ssne=Natal&ssne_untouched=Natal&top_ufis=1&rows=25&offset=',url_number), "rb")

    #lendo a pagina
    page <- read_html(url)

 #nome dos hoteis
   nomes_i <-page %>%
      html_nodes(".sr-hotel__name") %>%
      html_text()%>%
      {if(length(.) == 0) NA else .}

    #nome do quarto
    quarto_i <- page%>%
     html_nodes(".room_link strong ,  .sold_out_property") %>%
     html_text()%>%
      {if(length(.) == 0) NA else .}

#*quando chega no dia 10/09 e o erro ocorre, eu paro o código, troco o código acima por quarto_i<- NA, espero baixar o mês de setembro e volto a baixar outubro em diante com o código acima - tudo manualmente*

   #precos
    precos_i <- page %>%
      html_nodes(".bui-price-display__value , .sold_out_property ") %>%
      html_text()%>%
      {if(length(.) == 0) NA else .}

    #construindo o banco de dados de cada página
    banco_precos_i <- data.frame(nomes_i, quarto_i, precos_i, stringsAsFactors = F)

    #alimentando o banco de dados de um dia
    banco_precos <- rbind(banco_precos ,banco_precos_i)

    #banco de preço dia     
    banco_precos_dia <- cbind(inicio,banco_precos,diacheckin)

    #suspender execucao no R por 3 seg
    Sys.sleep(3)
}
banco_precos_final <- rbind(banco_precos_final, banco_precos_dia)
}
}
6
  • Como alguém conseguiu rodar esse código, o erro pode ter relação com a resposta recebida do servidor pelo R. As vezes você pode tentar verificar que recebeu a resposta adequada do servidor (o pacote httr pode ajudar). 24/04/2020 às 0:50
  • A mensagem de erro, contudo, sugere algumas das informações que você pegou veio incompleta na hora de formar o banco_precos_i. Por isso diz que enquanto uma tem 18 elementos, outra tem 17. Nesse caso poderia introduzir uma verificação antes de criar o banco_precos_i e pensar numa estratégia para igualar o tamanho dos vetores. 24/04/2020 às 0:53
  • Olá @TomásBarcellos, sim, é isso que estou tentando resolver. Você conseguiu rodar o código? Estou utilizando o pacote rvest para a raspagem, você sugere alguma função do httr que possa me ajudar ? Não vi funções nesse pacote que diferem do rvest para a raspagem. Conforme expliquei ao @Tusca, ao explorar as orientações dele descobri que na página 6 há um hotel em específico (Hostel Margo) que os valores vem diferentes. Não há a informação do quarto em .roomlink strong para esse hotel e há dois quartos em .roomlink, você tem alguma sugestão para solucionar isso? 28/04/2020 às 19:59
  • Uma solução seria você "obrigar" o código a unir as informações do quarto em um unico elemento. Ex: paste(texto_quartos, collapse = " "). Depois de feita a raspagem você poderia ou pensar em como tratar 28/04/2020 às 20:13
  • Outra possibilidade seria criar uma variavel quarto2 na tabela, que fica quase sempre vazia, mas que nesses casos seria preenchidas. Ou ainda somar o tamanho de todos os quartos e só guardar essa informação. 28/04/2020 às 20:14

1 Resposta 1

0

Seu código executou sem erro por aqui. Tentei gerar um erro de propósito no vetorde quartos e mesmo assim funcionou, colocou os NA's onde não encontrou nada:

Talvez o que esteja acontecendo é um block do servidor no seu IP por gerar muitas consultas no site. Isso pode te retornar páginas html com erros. Sugestão: quando identifica esse erro no seu código, salva a variável "page" com extensão .hmtl e da uma olhadinha no seu browser como está a página, se apresenta algo estranho nos elementos.

1
  • Olá @tusca. Tentei baixar começando a partir de 10/09 para explorar a possibilidade de ser um block do servidor, mas deu erro na página 6. Acessando exatamente essa página vi que o Hostel Margo, ao invés do nome do quarto aparecem dois dormitórios (e que não constam no .room_link strong), tentei baixar o .roomname ou .room_link ao invés do .room_link strong, mas continua dando o erro pois agora baixa dois nomes para esse hotel ao invés de apenas 1, você sabe como posso agrupar esses dormitórios em um só? Inclui o link da página na pergunta, pois excede os caracteres dos comentários 23/04/2020 às 1:46

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .