4

Eu estou tentanto fazer o scrape do sistema mediador Ministério do Trabalho. Basicamente, eu quero a relação dos acordos e convenções coletivos:

url1<-"http://www3.mte.gov.br/sistemas/mediador/ConsultarInstColetivo"

Uma vez que eu acesso essa página, eu chego no formulário de busca. Eu optei apenas por selecionar a vigência: "Todos" e a UF de registro: "SE"

Ao clicar, eu tenho acesso ao XHR:

url2<-"http://www3.mte.gov.br/sistemas/mediador/ConsultarInstColetivo/getConsultaAvancada"

E ao body:

str(body)
List of 27
 $ nrCnpj                             : chr ""
 $ nrCei                              : chr ""
 $ noRazaoSocial                      : chr ""
 $ dsCategoria                        : chr ""
 $ tpRequerimento                     : chr "acordo"
 $ tpRequerimento                     : chr "acordoColetivoEspecificoPPE"
 $ tpRequerimento                     : chr "acordoColetivoEspecificoDomingosFeriados"
 $ tpRequerimento                     : chr "convencao"
 $ tpRequerimento                     : chr "termoAditivoAcordo"
 $ tpRequerimento                     : chr "termoAditivoConvecao"
 $ tpRequerimento                     : chr "termoAditivoAcordoEspecificoPPE"
 $ tpRequerimento                     : chr "termoAditivoAcordoEspecificoDomingoFeriado"
 $ tpVigencia                         : chr "2"
 $ sgUfDeRegistro                     : chr "SE"
 $ dtInicioRegistro                   : chr ""
 $ dtFimRegistro                      : chr ""
 $ dtInicioVigenciaInstrumentoColetivo: chr ""
 $ dtFimVigenciaInstrumentoColetivo   : chr ""
 $ tpAbrangencia                      : chr "Todos os tipos"
 $ ufsAbrangidasTotalmente            : chr "SE"
 $ cdMunicipiosAbrangidos             : chr ""
 $ cdGrupo                            : chr ""
 $ cdSubGrupo                         : chr ""
 $ noTituloClausula                   : chr ""
 $ utilizarSiracc                     : chr ""
 $ pagina                             : chr "2"
 $ qtdTotalRegistro                   : chr "1740"

Em seguida, eu fiz o seguinte para acessar os resultados:

library(httr)
a<-GET(url1)
b<-POST(url2,body=body,set_cookies(unlist(a$cookies)))

Mas infelizmente a resposta não retorna os resultados esperados.

2
  • Note que url2 não funciona... Para que ele funcione corretamente vc precisa acessar os filtros a partir de url1
    – TheBiro
    Commented 26/04/2017 às 14:31
  • Eu tentei com o url1. Eu pensei que se eu incluo o cookie do request do url1 no request do url2, o problema fica resolvido, mas não obtive sucesso.
    – José
    Commented 26/04/2017 às 14:43

1 Resposta 1

3

A pergunta está em como realizar esse específico scraping em R. Repare que o formulário para TpRequerimento exige uma lista, que podemos implementar como vetor.

Em R, faria assim:

body <- list(
  nrCnpj="",
  nrCei="",
  noRazaoSocial="",
  dsCategoria="",
  tpRequerimento=c("acordo",
               "acordoColetivoEspecificoPPE",
               "acordoColetivoEspecificoDomingosFeriados",
               "convencao",
               "termoAditivoAcordo",
               "termoAditivoConvecao",
               "termoAditivoAcordoEspecificoPPE",
               "termoAditivoAcordoEspecificoDomingoFeriado"),
  tpVigencia="2",
  sgUfDeRegistro="SE",
  dtInicioRegistro="",
  dtFimRegistro="",
  dtInicioVigenciaInstrumentoColetivo="",
  dtFimVigenciaInstrumentoColetivo="",
  tpAbrangencia="Todos os tipos",
  ufsAbrangidasTotalmente="SE",
  cdMunicipiosAbrangidos="",
  cdGrupo="",
  cdSubGrupo="",
  noTituloClausula="",
  utilizarSiracc="",
  pagina="2",
  qtdTotalRegistro="1740")


library(httr)
  url1<-"http://www3.mte.gov.br/sistemas/mediador/ConsultarInstColetivo"

  a <- GET(url1)
url2 <- "http://www3.mte.gov.br/sistemas/mediador/ConsultarInstColetivo/getConsultaAvancada"

b <- POST(url2,body=body,set_cookies(unlist(a$cookies)))
1
  • muito obrigado. Com esse novo body, o problema ficou resolvido.
    – José
    Commented 27/04/2017 às 5:32

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .