Preciso criar um bot que entra na página inicial de um determinado site, pegue todas os link's das postagens, entre em uma, capture uma div que contenha o vídeo e parta para o próximo link capturado na index.
Eu já criei a parte que captura os link, agora preciso saber como fazer a parte para acessá-los e capturar a div que possua o vídeo
request("https://www.site.com", function(error, response, html)
{
if(!error)
{
var $ = cheerio.load(html)
var resultado = [];
$("div.mozaique > div.thumb-block").each(function(i)
{
var title = $(this).find("div.thumb-under > p > a").eq(0).text();
var link = $(this).find("div.thumb-under > p > a").attr("href");
var img = $(this).find("div.thumb-inside > div.thumb > a > img").attr("data-src");
resultado.push({
id: i,
title: title,
link: link,
img: img
});
});
}
// Escrevendo o arquivo .json com o array
fs.writeFile('resultado.json', JSON.stringify(resultado, null, 4), function(err) {
console.log('JSON escrito com sucesso! O arquivo está na raiz do projeto.')
})
});
Se não ficou claro, basicamente preciso:
- Entrar no site
- Capturar os link dos posts e armazená-los
- Entrar no primeiro link capturado
- Pegar uma div que contenha um link .mp4
- Ir para o próximo link capturado e repetir o passo 4 e 5.
for
nos links capturados.