0

Tenho uma coleção no MongoDB de Tweets, esses registros possuem um campo chamado text, neste campo eu preciso excluir os registros que possuem o mesmo valor além de remover aspas simples, duplas, virgulas e quebras de linha. Para a remoção dos dados com o campo text duplicados eu estou tentando da seguinte forma:

var registro;
db.getCollection('TweetsBR_1_copy').find().forEach( function(myDoc) {
    db.getCollection('TweetsBR_1_copy').find({"text": myDoc.text}).forEach( function(myDoc_2) {
        registro = db.getCollection('TweetsBR_1_copy').findOne({text:myDoc_2.text})
        db.getCollection('TweetsBR_1_copy').remove(registro)
        print("registro excluido:")
        print(registro.text)
    });
    db.getCollection('TweetsBR_1_copy').insert(registro)
    print("registro inserido:")
    print(registro.text)
});

Porem estou reparando que a cada vez que executo o comando ele exclui mais e mais registros, então não tenho certeza de que esta funcionando corretamente. A coleção tem em torno de 500K de registros.

Alguém pode me dar uma ajuda nessa questão?

Obrigado.

1 Resposta 1

1

Vou copiar o teu código e comentar para tentar entender o que você está fazendo e te ajudar:

var registro;

// para cada documento na collection "TweetsBR_1_copy"

db.getCollection('TweetsBR_1_copy').find().forEach( function(myDoc) {

    // vou buscar na mesma collection um (ou vários) documento(s) que tenha o mesmo valor do campo "text"

    db.getCollection('TweetsBR_1_copy').find({"text": myDoc.text}).forEach( function(myDoc_2) {

        // buscar novamente, só que somente um documento dessa vez

        registro = db.getCollection('TweetsBR_1_copy').findOne({text:myDoc_2.text})

        // excluir o documento da collection

        db.getCollection('TweetsBR_1_copy').remove(registro)
        print("registro excluido:")
        print(registro.text)
    });

    // inserir novamente o documento na collection, isso vai executar tantas vezes quantos documentos estiverem na collection (você está dentro do primeiro foreach aqui ainda)

    db.getCollection('TweetsBR_1_copy').insert(registro)
    print("registro inserido:")
    print(registro.text)
});

Você está excluindo e inserindo ele novamente, deve ser por isso que cada vez que executa ele excluí mais registros. Tenta executar algo assim:

// para cada documento na collection "TweetsBR_1_copy"

db.getCollection('TweetsBR_1_copy').find().forEach( function(myDoc) {

    // vou buscar na mesma collection um (ou vários) documento(s) que tenha o mesmo valor do campo "text"

    db.getCollection('TweetsBR_1_copy').find({"text": myDoc.text}).forEach( function(myDoc_2) {

        // excluir o documento da collection

        db.getCollection('TweetsBR_1_copy').remove(myDoc_2)
        print("registro excluido:")
        print(myDoc_2.text)

        // inserir em uma collection de backup

        print("registro inserido na collection excluidos:")
        print(myDoc_2.text)
        db.getCollection('TweetsBR_1_excluidos').insert(myDoc_2)
    });
});
1
  • Muito obrigado pela resposta! Assim que eu tiver um tempo livre eu irei testar. Vlw! 16/05/2017 às 1:37

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .