0

Estou fazendo um crawler utilizando o node.js e mongodb para salvar as informações no banco e tenho o seguinte código:

var request = require('request');
var cheerio = require('cheerio');
var save = require('./savedb.js');
var URL = require('url-parse');


var pageToVisit = "http://www.fateclins.edu.br/site/verNoticia.php?idNoticia=358";
var noticias = [];
console.log("Visiting page " + pageToVisit);
request(pageToVisit, function(error, response, body) {
   if(error) {
     console.log("Error: " + error);
   }
   // Check status code (200 is HTTP OK)
   console.log("Status code: " + response.statusCode);
   if(response.statusCode === 200) {
     // Parse the document body
     var $ = cheerio.load(body);
     console.log("Page title:  " + $('title').text());
     console.log("Noticias: " + $('td').text());
   }
   save(noticias);

});

Quando executo o código acima ele me retorna o seguinte erro:

TypeError: uri.indexOf is not a function
    at checkReplicaSetInUri (C:\Users\Romulo\Documents\crawler2\node_modules\mongoose\lib\index.js:132:30)
    at Mongoose.connect (C:\Users\Romulo\Documents\crawler2\node_modules\mongoose\lib\index.js:255:40)
    at module.exports (C:\Users\Romulo\Documents\crawler2\savedb.js:25:13)
    at Request._callback (C:\Users\Romulo\Documents\crawler2\crawler.js:22:4)
    at Request.self.callback (C:\Users\Romulo\Documents\crawler2\node_modules\request\request.js:188:22)
    at emitTwo (events.js:106:13)
    at Request.emit (events.js:191:7)
    at Request.<anonymous> (C:\Users\Romulo\Documents\crawler2\node_modules\request\request.js:1171:10)
    at emitOne (events.js:96:13)
    at Request.emit (events.js:188:7)
    at IncomingMessage.<anonymous> (C:\Users\Romulo\Documents\crawler2\node_modules\request\request.js:1091:12)
    at IncomingMessage.g (events.js:291:16)
    at emitNone (events.js:91:20)
    at IncomingMessage.emit (events.js:185:7)
    at endReadableNT (_stream_readable.js:974:12)
    at _combinedTickCallback (internal/process/next_tick.js:80:11)

savedb.js:

'use strict';
var mongoose = require('mongoose');
var MongoClient = require('mongodb').MongoClient;
var db = MongoClient.connect('mongodb://localhost/db');

var noticiasSchema = new mongoose.Schema({
  titulo: String,
  data: Date,
  descricao: String
});

var noticiasModel = mongoose.model('noticias', noticiasSchema);


module.exports = function(items){

  var noticias = [];
   items.forEach(function(item){
     var noticias = new noticiasModel();
     noticias.titulo = item;
     noticias.data = new Date();
     noticias.descricao = item;

   });
   mongoose.connect(MongoClient, function(error){
     if(!error){
      noticiasModel.insertMany(noticias).then(function(docs){
        console.log('Salvo!');
        mongoose.disconnect();
      }).catch(function(errot){
        console.log(error);
        process.exit(2);
      });
     }else{
       console.log(error);
       process.exit(1);
     }
   });
}

Onde está o erro?

3
  • Olá Romulo! Por favor verifique as perguntas que você fez anteriormente, e aceite as respostas que lhe serviram/ajudaram, clicando na marca de verificação ao lado do texto. Isso dá uma gratificação a quem lhe ajudou e indica que o problema foi solucionado. Obrigado! :)
    – Daniel
    Commented 31/05/2017 às 23:19
  • Pode mostrar esse código: savedb.js?
    – Daniel
    Commented 31/05/2017 às 23:25
  • Olá Daniel, vou fazer isso! sobre o código do savedb.js vou postar. Commented 1/06/2017 às 0:23

1 Resposta 1

1

Eu preciso dar uma olhada melhor no código, mas teste essa alteração:

var request = require('request');
var cheerio = require('cheerio');
var save = require('./savedb.js');
var URL = require('url-parse');
var mongoose = require('mongoose');
mongoose.connect('mongodb://localhost/noticias');
var pageToVisit = "http://www.fateclins.edu.br/site/verNoticia.php?idNoticia=358";
var noticias = [];

console.log("Visiting page " + pageToVisit);
request(pageToVisit, function(error, response, body) {
    if(error) {
        console.log("Error: " + error);
    }

    // Check status code (200 is HTTP OK)
    console.log("Status code: " + response.statusCode);
    if(response.statusCode === 200) {
        // Parse the document body
        var $ = cheerio.load(body);
        noticias.push("Page title:  " + $('title').text());
    }
    save(noticias);
});

savedb.js

'use strict';
var mongoose = require('mongoose');
var noticiasSchema = new mongoose.Schema({
    titulo: String,
    data: Date,
    descricao: String
});

var noticiasModel = mongoose.model('noticias', noticiasSchema);
module.exports = function(items){
    var noticias = new noticiasModel();

    items.forEach(function(item){
        noticias.titulo = item;
        noticias.data = new Date();
        noticias.descricao = item;
    });

    noticias.save(function (err, Noticia) {
        if (err) return console.error(err);
            console.log("salvo!");
    });  
}
7
  • Olá Daniel, qual arquivo eu devo incluir aqui? Commented 1/06/2017 às 0:45
  • @RomuloFilho é isso aí - estou dando uma olhada! :)
    – Daniel
    Commented 1/06/2017 às 0:46
  • Daniel, não entendi... Eu devo postar outra parte do código? se sim qual? Commented 1/06/2017 às 1:08
  • @RomuloFilho não - acho que você já postou tudo que é necessário!
    – Daniel
    Commented 1/06/2017 às 1:09
  • A sim, entendi, obrigado por estar me ajudando! Commented 1/06/2017 às 1:13

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .