0

Preciso criar um bot que entra na página inicial de um determinado site, pegue todas os link's das postagens, entre em uma, capture uma div que contenha o vídeo e parta para o próximo link capturado na index.

Eu já criei a parte que captura os link, agora preciso saber como fazer a parte para acessá-los e capturar a div que possua o vídeo

request("https://www.site.com", function(error, response, html) 
{
    if(!error)
    {
        var $ = cheerio.load(html)        
        var resultado = [];

        $("div.mozaique > div.thumb-block").each(function(i)
        {
            var title = $(this).find("div.thumb-under > p > a").eq(0).text();
            var link  = $(this).find("div.thumb-under > p > a").attr("href");
            var img   = $(this).find("div.thumb-inside > div.thumb > a > img").attr("data-src");

            resultado.push({
                id: i,
                title: title,
                link: link,
                img: img
            });
        });
    }

    // Escrevendo o arquivo .json com o array 
    fs.writeFile('resultado.json', JSON.stringify(resultado, null, 4), function(err) {
        console.log('JSON escrito com sucesso! O arquivo está na raiz do projeto.')
    })
});

Se não ficou claro, basicamente preciso:

  1. Entrar no site
  2. Capturar os link dos posts e armazená-los
  3. Entrar no primeiro link capturado
  4. Pegar uma div que contenha um link .mp4
  5. Ir para o próximo link capturado e repetir o passo 4 e 5.
2
  • Já tentou criar uma função para acessar o link e capturar o vídeo? Dessa forma você poderá fazer um for nos links capturados. Commented 8/02/2019 às 2:55
  • Exatamente isso que não estou conseguindo fazer! Commented 8/02/2019 às 14:29

1 Resposta 1

1

Pelo que eu entendi você quer fazer vários requests e ir compondo os arrays com os elementos que você vai pegando da página. Você precisa chamar outra função e criar um loop dela para fazer os requests de acordo com os links dos array. Ficaria algo assim:

request("https://www.site.com", function(error, response, html) 
{
    if(!error)
    {
        var $ = cheerio.load(html)        
        var resultado = [];

        $("div.mozaique > div.thumb-block").each(function(i)
        {
            var title = $(this).find("div.thumb-under > p > a").eq(0).text();
            var link  = $(this).find("div.thumb-under > p > a").attr("href");
            var img   = $(this).find("div.thumb-inside > div.thumb > a > img").attr("data-src");

            resultado.push({
                id: i,
                title: title,
                link: link,
                img: img
            });
            //Verifica se o array já acabou de ser composto
            if(i==$("div.mozaique > div.thumb-block").length){
                accessURI();
            }
        });

    }
});

let i = 0;
function accessURI(){
    if(i==resultado.length){
        //Call back do loop
    }
    request(resultado[i].link,{data: i++}, (error, response, body)=>{
        //Componha o array com as divs
        accessURI()
    })
}
1
  • Pedro não entendi muito bem, esse sua função não, pode dar uma exemplo de como usar? Commented 8/02/2019 às 14:28

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .