Tenho a tarefa de criar uma interface otimizada para monitor touch, pegando dados de um site (http://www.consultas.der.mg.gov.br/grgx/sgtm/consulta_linha.xhtml).
Esse site dá uma listagem de linhas de ônibus e consulta os seus horários, utilizando um auto-complete ajax.
Por se tratar de um órgão governamental, a possibilidade de obter os dados de outra forma é quase nula.
Pensei em fazer um crawler em java ou node.js para ir na url de requisição, passar os parametros do site (inputs) e filtrar na resposta aquilo que eu preciso. Fácil! Só na teoria :(
Fiz uma requisição nessa url:
http://www.consultas.der.mg.gov.br/grgx/sgtm/consulta_linha.xhtml;jsessionid=1820D695BDE4B916EC808F84BD1B335D
Usando esse cabeçalho http com o módulo webcrawler do node.js:
Accept:application/xml, text/xml, */*; q=0.01 Accept-Encoding:gzip, deflate Accept-Language:pt-BR,pt;q=0.8,en-US;q=0.6,en;q=0.4 Connection:keep-alive Content-Length:457 Content-Type:application/x-www-form-urlencoded; charset=UTF-8 Cookie:JSESSIONID=1820D695BDE4B916EC808F84BD1B335D Faces-Request:partial/ajax Host:www.consultas.der.mg.gov.br Origin:http://www.consultas.der.mg.gov.br Referer:http://www.consultas.der.mg.gov.br/grgx/sgtm/consulta_linha.xhtml User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36 X-Requested-With:XMLHttpRequest
E o form data abaixo, onde usei o número 6 como query para o autocomplete, o que no site trás uma listagem:
javax.faces.partial.ajax:true javax.faces.source:form:tabview:campoBusca javax.faces.partial.execute:form:tabview:campoBusca javax.faces.partial.render:form:tabview:campoBusca form:tabview:campoBusca:form:tabview:campoBusca form:tabview:campoBusca_query:6 form:form form:tabview:campoBusca_input:6 form:tabview:campoBusca_hinput:6 form:tabview_activeIndex:0 javax.faces.ViewState:-6275073363975845032:-2043218073946595619
Porém, foi essa a resposta:
Tentei também no java, usando o JSoup, más foi pior, retornou uma exception de lifecicle.
Fui pego na curva. Como fazer um webcrawler funcional nesse cenário?