1

Estou fazendo um web crawler que deve extrair o nome e o preço dos iphones que aparecem em pesquisa no site da Amazon e gerar um arquivo xlsx com esses dados. No entanto, não estou conseguindo gerar o arquivo xlsx com esses dados.

Estou tentando fazer isso através do modulo excel4node, mas por conta do meu pouco conhecimento estou tendo problemas pra encaixar os dados na planilha.

var request = require('request-promise');
var cheerio = require('cheerio');
var excel = require('excel4node');

var wb = new excel.Workbook();
var ws = wb.addWorksheet('AMAZON');

var url = 'http://localhost:81/index.html';
var newEncode = encodeURI(url);

const crawl ={

    uri: (newEncode),
    transform: function (body){
        return cheerio.load(body);
    }

}

request(crawl)
    .then(($) =>{
        const produtos = []
        $('div[class="sg-col-20-of-24 s-result-item sg-col-0-of-12 sg-col-28-of-32 sg-col-16-of-20 sg-col sg-col-32-of-36 sg-col-12-of-16 sg-col-24-of-28"]').each((i, item)=>{
            const produto = {
                nome: $(item).find('span[class="a-size-medium a-color-base a-text-normal"]').text(),
                preco: $(item).find('span[class="a-price-whole"], span[class="a-price-fraction"], span[class="a-color-base"]').text(),
            }

            // console.log(item);

            ws.cell().string(); //não sei quais parâmetros adicionar aqui

            wb.write('PlanilhaAmazon.xlsx');

        });

    })
    .catch((err) => {
        console.log(err);
    })
2
  • Os dados estão chegando corretamente? Preciso saber antes de montar um exemplo Commented 22/08/2019 às 19:39
  • Sim, Anderson. Os dados estão chegando corretamente. Commented 22/08/2019 às 19:51

1 Resposta 1

1

De uma olhada no exemplo, primeiro mudei as variaveis globais var para const evite usar var. Depois disso em ws.cell(), recebe o primeiro parametro é o número da linha que coloquei o index + 1 e o segundo é a coluna. Em string você coloca o texto que quer escrever.

const request = require('request-promise');
const cheerio = require('cheerio');
const excel = require('excel4node');

const wb = new excel.Workbook();
const ws = wb.addWorksheet('AMAZON');

const url = 'http://localhost:81/index.html';
const newEncode = encodeURI(url);

const crawl ={

    uri: (newEncode),
    transform: function (body){
        return cheerio.load(body);
    }

}

request(crawl)
    .then(($) =>{
        const produtos = []
        $('div[class="sg-col-20-of-24 s-result-item sg-col-0-of-12 sg-col-28-of-32 sg-col-16-of-20 sg-col sg-col-32-of-36 sg-col-12-of-16 sg-col-24-of-28"]').each((i, item)=>{
            const produto = {
                nome: $(item).find('span[class="a-size-medium a-color-base a-text-normal"]').text(),
                preco: $(item).find('span[class="a-price-whole"], span[class="a-price-fraction"], span[class="a-color-base"]').text(),
            }

            // console.log(item);

            ws.cell(i + 1, 1).string(produto.nome); //O primeiro parametro é a linha da planilha o segundo é a coluna
            ws.cell(i + 1, 2).string(produto.preco);
            wb.write('PlanilhaAmazon.xlsx');
        });
7
  • Deu muito certo! Muito Obrigado! Commented 23/08/2019 às 14:41
  • Só tem mais uma coisa: você viu que estou fazendo a requisição para o meu servidor local? Então... Era pra eu fazer para o site da Amazon, porém o programa não está aceitando a URL, por algum motivo o programa não me retorna o corpo da página pra fazer a pesquisa, o retorno vem em caracteres aleatórios. Sabe como resolver esse problema???? Commented 23/08/2019 às 14:44
  • Como assim caracteres aleatórios? Commented 23/08/2019 às 19:53
  • Seu der console.log(body), ao invés de retornar o corpo d requisição feita ele não retorna. Retorna uns caracteres especiais bem aleatórios que não tem no teclado (não sei o nome kkkk) Commented 23/08/2019 às 20:08
  • É o mesmo código? Só muda a url? ou você modificou algo? Commented 23/08/2019 às 22:20

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .