6

Eu estou aprendendo e tentando resolver um caso de um POST request em que é feito um envio de um body bem largo para ser processado pela API e o retorno é um job ID para acessar o resultado.

Acontece que o tempo que a API leva para processar pode variar consoante o tamanho do body e tenho de verificar o status do job com outra GET request usando o job ID para saber do seu status. Se o status for complete então eu posso fazer o download do resultado ficheiro.zip via por exemplo URLlib.retrieve() ou algo parecido.

Qual seria a melhor forma de monitorar os vários POST requests enviados para saber se o seu estado está completo e se sim fazer o download.

Procuro padrão, boa prática ou até mesmo algum modulo para importar que ajude.

4
  • sua pergunta não está muito clara, mas de qualquer forma: você já ouviu falar de celery? Commented 22/12/2014 às 16:17
  • Nao ainda nao ouvi nada sobre celery. Talvez o tipo API em causa ajude veja link no final . o que se pretende é interrogar periodicamente a api para obter se o status do job está completo.developers.arcgis.com/rest/elevation/api-reference/… Commented 22/12/2014 às 17:21
  • em inglês: stackoverflow.com/questions/9034091/… Commented 22/12/2014 às 17:25
  • Obrigado Rafael, nao me parece que precise de tanto para o meu caso. No entanto obrigado pela partilha, o celery parece ser interessante mas não para a minha pequena escala. Commented 23/12/2014 às 9:38

1 Resposta 1

4

Eu desconheço que haja alguma solução padrão para esse tipo de problema. Eu posso sugerir simplesmente o uso de polling, tipo:

import threading
import thread
jobs = set()

def iniciar_job(dados):
    global jobs
    body = criar_body(dados)
    job_id = efetuar_post(body)
    jobs.append(job_id)

def download_zip(job_id):
    #use URLlib ou qualquer outro mecanismo para baixar o .zip
    pass

def checar_jobs():
    global jobs
    for job_id in list(jobs):
        if job_finalizado(job_id):
            thread.start_new_thread(download_zip, (job_id,))
            jobs.remove(job_id)

# checar jobs a cada 3 segundos
threading.Timer(3.0, checar_jobs).start()
2
  • obrigado pela dica do threading , minha implementaçao actual estava muito parecida só nao fiz recurso do treadhing , fiz um while loop que percorria a lista de jobs para verificar qual o finalizado , caso finalizado retirado da list e feito o download. 1x+ Obrigado pela dica do threading vou ler mais sobre o modulo para uma correcta implementaçao. Commented 24/12/2014 às 18:24
  • Você pode até criar uma classe Thread especializada que você instancia para cada job e ela mesma tem seu próprio timer para checar o progresso e iniciar o download do arquivo. Dessa forma nem precisaria manter a lista de jobs. Commented 24/12/2014 às 18:46

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .