Tenho uma coleção no MongoDB de Tweets, esses registros possuem um campo chamado text, neste campo eu preciso excluir os registros que possuem o mesmo valor além de remover aspas simples, duplas, virgulas e quebras de linha. Para a remoção dos dados com o campo text duplicados eu estou tentando da seguinte forma:
var registro;
db.getCollection('TweetsBR_1_copy').find().forEach( function(myDoc) {
db.getCollection('TweetsBR_1_copy').find({"text": myDoc.text}).forEach( function(myDoc_2) {
registro = db.getCollection('TweetsBR_1_copy').findOne({text:myDoc_2.text})
db.getCollection('TweetsBR_1_copy').remove(registro)
print("registro excluido:")
print(registro.text)
});
db.getCollection('TweetsBR_1_copy').insert(registro)
print("registro inserido:")
print(registro.text)
});
Porem estou reparando que a cada vez que executo o comando ele exclui mais e mais registros, então não tenho certeza de que esta funcionando corretamente.
A coleção tem em torno de 500K
de registros.
Alguém pode me dar uma ajuda nessa questão?
Obrigado.