Estou usando PyMongo com Flask e gostaria de saber como otimizar uma consulta, pois estou filtrando dentro de uma grande coleção (2947 documentos) com documentos grandes.
Esta é a estrutura dos documentos da coleção:
Como você pode ver, ele possui 4 propriedades (simulationID, simulationPartID, timePass and status, que armazena muitos arrays). Essa collection possui um tamanho de 1.6 GB.
Basicamente, estou tentando encontrar o documento que tem um específico timePass e simulationPartID 7
@app.route('/get-node-data/<timePass>', methods=['GET'])
def get_node_data(timePass):
if (request.method == "GET"):
print("Before filt")
node_data = filt('node_data', 'timePass', timePass, 'simulationPartID', 7)
print("After filt", node_data)
return json.dumps(node_data, default=json_util.default)
Abaixo estão os métodos de filtragem que estou usando:
def filt(collection_name, filter1_name, filter1, filter2_name=None):
Collections = list(db[collection_name].find({}))
Collections = run_filter(Collections, filter1_name, filter1)
if filter2 and filter2_name:
Collections = run_filter(Collections, filter2_name, filter2)
if Collections == []:
Collections = None
return Collections
def run_filter(Collections, filter_name, filter):
newCollections = []
for i in range(len(Collections)):
if Collections[i][filter_name] == filter:
newCollections.append(Collections[i])
return newCollections
Mas, como mencionei, a coleção é muito grande, testei e a consulta travou. Eu a executei há mais de 1h e ela ainda está filtrando. Preciso obter a filtragem o mais rápido possível (instantaneamente, se possível).
Gostaria de saber se existe uma maneira de otimizar meus métodos de filtragem para tornar a filtragem mais rápida e aumentar seu desempenho.
Muito obrigado!
find
sem parâmetros buscando todas as informações na coleçãocollection_name
e filtrando posteriormente em Python? Se sim, por que não usar uma expressão ou agregação com omatch
desses dados que você quer achar pelo próprio conector do mongodb?db[collection_name].find({'timePass': valor, 'simulationPartID': 7})
. Como vc não disse o valor específico paratimePass
coloquei apenasvalor
. Caso vc queira apenas o primeiro, pode usar ofind_one()