4

Como o Buscapé e outros sites conseguem pegar as informações dos sites? é através do curl ou um xml que os sites das lojas disponibilizam?

1
  • 4
    Apesar das respostas serem boas e darem uma ideia de como e feito tal processo, não tem como saber realmente como o processo é feito, apenas os desenvolvedores destas empresas poderiam informar. Acredito que seja por "feeds" em alguns casos, mas não tem como ter certeza.
    – Syzoth
    11/05/2015 às 19:58

3 Respostas 3

6

Existe várias formas e técnicas que consegue pegar informações de outros sites, o nome dado a esta técnica é 'parse', muitos programadores aqui falam erroneamente 'parseamento de site', se os sites oferecer o XML ao buscapé, logo o trabalho dos engenheiros do site cairá bastante por XML já conter as tags formatada corretamente, tornando o trabalho mais rápido para o PHP, pois o simplexml_load_file é bem rápido e fácil de se usar.

Mas caso o site não ofereça tal arquivo, a solução pode ser o Crawling para obter os links, ou o cURL mesmo, o cURL só vai servir para passar e obter os dados HTML do servidor remoto, usando algo como POST ou GET, aí pra "pegar" estes dados, pode usar o DOMDocument, que é o que mais uso em conjunto com o DomXpath que é uma subfunção do próprio DOM que serve para analisar o HTML, mas também tem o Simple HTML DOM Parser.

Eis um exemplo que acabei de fazer pra te mostrar, capturando dados do G1:

    libxml_use_internal_errors(true) and libxml_clear_errors();
    $header = "X-Forwarded-For: {$_SERVER['REMOTE_ADDR']}";
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL,   "http://g1.globo.com/bemestar/noticia/2011/03/medica-orienta-sobre-o-que-fazer-em-caso-de-dor-de-ouvido-e-como-evita-la.html");
    curl_setopt($ch, CURLOPT_REFERER, "http://g1.globo.com");
    curl_setopt($ch, CURLOPT_HTTPHEADER, array($header));
    curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    $html = curl_exec($ch);
    $DOM = new DOMDocument();
    $DOM->loadHTML($html);
    $xpath = new DomXpath($DOM);
    $titulo = $xpath->query('//input[@name="materia_titulo"]/@value')->item(0);
    $letra = $xpath->query('//div[@id="materia-letra"]')->item(0);
    echo "Titulo da matéria: ". $titulo->nodeValue . "<p>" . "Conteúdo da matéria: "   .$letra->nodeValue;
3
  • 1
    Achei muito bom, Mas da um certo trabalho pegar o valor das tags do html e salvar em um banco de dados com varias tags de vários sites. 14/05/2015 às 13:24
  • 1
    Dá sim um certo trabalho! mas fazendo uma arquitetura bem bolada, o serviço fica excelente! 14/05/2015 às 16:57
  • pow legal essa parada. Funciona com qualquer website se usar curl Cassiano José?
    – DiChrist
    12/07/2016 às 14:43
4

Depende dos sites, não é algo genérico.

Podem ir buscar informações a:

  • sitemaps
  • feeds de informação (JSON por exemplo)
  • APIs
  • crawling pelas páginas e links dos sites
  • outros mecanismos...
3

Há varias alternativas para buscar conteudo de um site:

  • Parseando o site: Vai literalmente baixar o HTML e poderá verificar os elementos DOM da página. Biblioteca PHP para este fim: Simple HTML DOM Parser
  • Parseando o XML fornecido pelo site: Pode-se usar as funções nativas do PHP para isto, veja exemplo abaixo:

    $feed = simplexml_load_file($feedLink, 'SimpleXMLElement', LIBXML_NOCDATA);
    
    foreach($feed->channel->item AS $item){
        if($count == $limit){
            break;
        }    
        echo $item->link . '<br />';
        echo $item->title . '<br />';
        echo $item->description . '<br />';
        echo $item->pubDate . '<br />';
        echo '<br />------------------<br /><br />';
        $count++;
    }
    
  • Crawling: Irá seguir os links e é usado em conjunto com um parser (que irá extrair as informações das páginas). Biblioteca PHP para este fim: PHPCrawl

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .