O monitoramento em si da URL não é feito sem que haja uma consulta a ela.
A não ser que o site avise você que houve alteração, você só saberá se for consultar.
Vou explanar alguma ideia sobre como arquitetar isso.
Primeiro, vamos considerar que você tenha recursos separados, sendo eles:
- Controlador de sites que serão monitorados;
- Crawleador de sites;
- Comparador.
Considere o seguinte, o Controlador faz o trabalho de saber quais sites precisam ser consultados, quando e pra quem deve passar o trabalho.
O Controlador ficará no Crontab, porém, ele não fará o Crawler, ele passará essa responsabilidade para o Crawleador. Ou seja, poderá ter fazer multiplas consultas ao mesmo tempo.
O Comparador é independente e disparado da forma que você preferir, isso faz com que ele nao atrapalhe nada.
Considerei separar os recursos pois assim nada fica 'engessado' e tão dependente. Sendo que poderá até separar em outros servidores se o projeto crescer, de forma simples.
Um inicio do trabalho:
Considere que isso seja o Controlador de sites:
$sites = ['site1', 'site2', 'site3'];
foreach ($sites as $site) {
// Aqui vc passa o site a ser consultado para o crawleador.
// Poderia fazer isso em um metodo no proprio arquivo, mas isso nao permitiria multithread.
// Para isso ser eficaz, cria um script php que fará o crawler e chame-o aqui sem esperar retorno. Ex:
shell_exec("php crawleador.php?site=$site &");
// Assim vc tera o foreach acabando muito rapido e os crawleadores disparados vao fazer seus trabalhos sozinhos.
}
Dai você trabalha no seu crawler:
$url = $_GET['site'];
// Aqui vc implementa a logica do seu analisador e armazena essa informaçao em algum lugar (mysql?)
// Esse arquivo entrará em açao por que o arquivo anterior mandou. Como se trata de multiplos links, voce terá varias sessoes rodando independentes.
// fim
Outra alternativa seria você implementar algum recurso de MultiThread no seu PHP, provavelmente sera ainda mais performático.
Se o que você precisa é apenas pegar se houver mudança, uma ideia que pode simplificar seu analisador é usar hash. Ex:
Se você tirar o md5sum
de um arquivo duas vezes, o resultado é igual.
Se o arquivo mudar, o md5 será outro.
Sugiro que você faça as comparações com esse hash, talvez até pensar no Hash na própria consulta pode tornar seu banco de dados mais enxuto e fazer o processo de analise mais rapido.