0

Eu tenho um sistema, que precisa comparar vários valores, entre vários sites. Tais valores, são lidos a partir de um XML disponibilizado pelo site em questão.

O problema é que a leitura padrão da URL via cURL, por exemplo, para 1 único site, porém, no meu caso, são inúmeros sites.

Depois de pegar as informações, eu preciso compará-las e é aí o problema.

Está ficando lento, cada vez que é adicionado um novo site. Atualmente, estou fazendo com cron jobs + cURL no PHP.

1 Resposta 1

4

O monitoramento em si da URL não é feito sem que haja uma consulta a ela.

A não ser que o site avise você que houve alteração, você só saberá se for consultar.

Vou explanar alguma ideia sobre como arquitetar isso.

Primeiro, vamos considerar que você tenha recursos separados, sendo eles:

  1. Controlador de sites que serão monitorados;
  2. Crawleador de sites;
  3. Comparador.

Considere o seguinte, o Controlador faz o trabalho de saber quais sites precisam ser consultados, quando e pra quem deve passar o trabalho.

O Controlador ficará no Crontab, porém, ele não fará o Crawler, ele passará essa responsabilidade para o Crawleador. Ou seja, poderá ter fazer multiplas consultas ao mesmo tempo.

O Comparador é independente e disparado da forma que você preferir, isso faz com que ele nao atrapalhe nada.

Considerei separar os recursos pois assim nada fica 'engessado' e tão dependente. Sendo que poderá até separar em outros servidores se o projeto crescer, de forma simples.

Um inicio do trabalho:

Considere que isso seja o Controlador de sites:

$sites = ['site1', 'site2', 'site3'];

foreach ($sites as $site) {
    // Aqui vc passa o site a ser consultado para o crawleador.
    // Poderia fazer isso em um metodo no proprio arquivo, mas isso nao permitiria multithread.
    // Para isso ser eficaz, cria um script php que fará o crawler e chame-o aqui sem esperar retorno. Ex:

    shell_exec("php crawleador.php?site=$site &");

    // Assim vc tera o foreach acabando muito rapido e os crawleadores disparados vao fazer seus trabalhos sozinhos.
}

Dai você trabalha no seu crawler:

$url = $_GET['site'];
// Aqui vc implementa a logica do seu analisador e armazena essa informaçao em algum lugar (mysql?)
// Esse arquivo entrará em açao por que o arquivo anterior mandou. Como se trata de multiplos links, voce terá varias sessoes rodando independentes.
// fim

Outra alternativa seria você implementar algum recurso de MultiThread no seu PHP, provavelmente sera ainda mais performático.

Se o que você precisa é apenas pegar se houver mudança, uma ideia que pode simplificar seu analisador é usar hash. Ex:

Se você tirar o md5sum de um arquivo duas vezes, o resultado é igual.

Se o arquivo mudar, o md5 será outro.

Sugiro que você faça as comparações com esse hash, talvez até pensar no Hash na própria consulta pode tornar seu banco de dados mais enxuto e fazer o processo de analise mais rapido.

1
  • Entendi. Vou aplicar esse modelo. Obrigado pela ajuda. 9/04/2018 às 13:31

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .