0

Recentemente vi um vídeo no youtube, onde o cara por meio da URL de uma notícia que se encontrava no uol, globo e outros sites do tipo, ele recuperava o titulo da noticia, o corpo e as imagens junto com as formatações usada. A aplicação foi escrita com o framework LARAVEL.

Que tipo de recursos se utiliza para fazer uma aplicação dessa ? tem alguma biblioteca no LARAVEL que facilita isso ?

2
  • 1
    No laravel não sei, mas com php, através do curl ou file_get_content funciona
    – MagicHat
    Commented 3/12/2016 às 0:28
  • 1
    Qual vídeo?????
    – novic
    Commented 3/12/2016 às 1:18

1 Resposta 1

2

Para fazer isso você vai precisar inevitavelmente fazer um parsing do HTML da página. Você vai precisar usar um DOM parser para fazer isso.

O que o DOM Parser vai fazer é pegar o HTML que você baixou e transformar ele em um objeto DOM no qual você pode navegar e pegar as informações que você precisa.

Eu particularmente já fiz alguns projetos deste tipo, e os maiores problemas que você vai encontrar são basicamente dois:

1) Cada site (e as vezes diferentes sessões ou matérias do mesmo site) tem uma estrutura HTML diferente, fazendo com que você tenha que fazer diferentes mapas dom para cada sessão / site.

2) Os HTMLs dos sites (mesmo dos grandes como UOL, terra) têm htmls mal formatados, com erros. Isso pode eventualmente dar erro na hora de fazer o parse do dom, o que vai complicar sua vida.

O segredo é buscar um parser que faça um pré-processamento do html para corrigir erros, ou que seja tolerante aos erros.

Na última vez que trabalhei um projeto destes, fiz um robozinho com java, pois tem uma biblioteca pronta em Java que é perfeita para isso, que você consegue buscar os dados no HTML como se fosse o jquery. É muito legal!

https://jsoup.org/

Abraço e boa sorte!

1
  • 1
    Muito obrigado.
    – Furabio
    Commented 4/12/2016 às 10:38

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .