0

Estou usando PyMongo com Flask e gostaria de saber como otimizar uma consulta, pois estou filtrando dentro de uma grande coleção (2947 documentos) com documentos grandes.

Esta é a estrutura dos documentos da coleção:

inserir a descrição da imagem aqui

Como você pode ver, ele possui 4 propriedades (simulationID, simulationPartID, timePass and status, que armazena muitos arrays). Essa collection possui um tamanho de 1.6 GB.

Basicamente, estou tentando encontrar o documento que tem um específico timePass e simulationPartID 7

@app.route('/get-node-data/<timePass>', methods=['GET'])
def get_node_data(timePass):
    if (request.method == "GET"):
        print("Before filt")
        node_data = filt('node_data', 'timePass', timePass, 'simulationPartID', 7)
        print("After filt", node_data)
        return json.dumps(node_data, default=json_util.default)

Abaixo estão os métodos de filtragem que estou usando:

def filt(collection_name, filter1_name, filter1, filter2_name=None):
    Collections = list(db[collection_name].find({}))
    Collections = run_filter(Collections, filter1_name, filter1)
    if filter2 and filter2_name:
        Collections = run_filter(Collections, filter2_name, filter2)

    if Collections == []:
        Collections = None
    return Collections

def run_filter(Collections, filter_name, filter):
    newCollections = []
    for i in range(len(Collections)):
        if Collections[i][filter_name] == filter:
            newCollections.append(Collections[i])
    return newCollections

Mas, como mencionei, a coleção é muito grande, testei e a consulta travou. Eu a executei há mais de 1h e ela ainda está filtrando. Preciso obter a filtragem o mais rápido possível (instantaneamente, se possível).

inserir a descrição da imagem aqui

Gostaria de saber se existe uma maneira de otimizar meus métodos de filtragem para tornar a filtragem mais rápida e aumentar seu desempenho.

Muito obrigado!

2
  • Só para deixar claro, você está usando o método find sem parâmetros buscando todas as informações na coleção collection_name e filtrando posteriormente em Python? Se sim, por que não usar uma expressão ou agregação com o match desses dados que você quer achar pelo próprio conector do mongodb?
    – Rfroes87
    Commented 13/11/2020 às 18:59
  • Não seria isso que vc está procurando? db[collection_name].find({'timePass': valor, 'simulationPartID': 7}). Como vc não disse o valor específico para timePass coloquei apenas valor. Caso vc queira apenas o primeiro, pode usar o find_one() Commented 13/11/2020 às 19:27

0

Você deve fazer log-in para responder a esta pergunta.

Pesquise outras perguntas com a tag .