6

Estou tentando fazer um programa que faz requisições em um servidor DDE, para isso preciso fazer coleta dos dados a cada 0,1 seg. Mas a cada iteração do programa a memória do computador aumenta e no fim para o script.

Estou tentando assim:

def requsitaDDE (y, j):    
    global quote

    if j == 4:
        time.sleep(.1)
        #old_quote = quote[0]
        quote = None
        quote = []
        return requsitaDDE(y, 0)

     else:
        current_quote = QUOTE_client.request(y[j])
        quote.append(current_quote)

        requsitaDDE(y, j + 1)

    requsitaDDE(y,0)

Mas já fiz assim também:

while 1:
    time.sleep(.1)

    quote = []     

    for i in symbols:
        current_quote = QUOTE_client.request(i)
        quote.insert(y, current_quote)
        y += 1
    print quote

    y = 0

Caros,

O problema do incremento de memória continua, agora fiz conforme sugestão do @Marcos:

while 1:
gc.collect()
#time.sleep(.1)
mem_usage = memory_usage(-1, interval=.2, timeout=1)
print(mem_usage)
y+= 1
print y

#if y == 20000:
#    break

cur.execute("SELECT MAX(rowid) FROM winj") # use your col
linhaBd = cur.fetchone()
linhaBd[0]

if old_quote != QUOTE_client.request(symbols[0]):

    for i in symbols:

        current_quote = QUOTE_client.request(i)#.split("\t") 

        if symbols.index(i) == 0:
            cur.execute('INSERT INTO winj(rowid, preco) VALUES(?, ?)' , [(linhaBd[0] + 1), current_quote])
            conn.commit()  
            old_quote = current_quote
            print current_quote

        if symbols.index(i) == 1:
            cur.execute('UPDATE winj SET quantidade = ? WHERE rowid = ?' , [current_quote, (linhaBd[0] + 1)])
            conn.commit()

        if symbols.index(i) == 2:
            cur.execute('UPDATE winj SET hora = ? WHERE rowid = ?' , [current_quote, (linhaBd[0] + 1)])
            conn.commit()

        if symbols.index(i) == 3:
            cur.execute('UPDATE winj SET data = ? WHERE rowid = ?' , [current_quote, (linhaBd[0] + 1)])
            conn.commit()     

Se alguém tiver alguma ideia, agradeço.

4
  • Ja tentou chamar o garbage collector { gc.collect() } no final de cada iteração ?
    – Felipe
    23/02/2017 às 19:39
  • Adicionei a seguinte linha: collected = gc.collect() print "Garbage collector: collected %d objects." % (collected) responde que esta com 0 objetos. esta aparecendo agora este erro: maximum recursion depth exceeded in _instancecheck_ 23/02/2017 às 19:59
  • Use a versão iterativa do algoritmo ... seu programa esta fazendo infinitas chamadas recursivas
    – Felipe
    23/02/2017 às 20:07
  • Felipe, retornei pra versão recursiva, mas a memória continua a aumentar. Teria algo pra fazer em relação a isso? 23/02/2017 às 21:11

1 Resposta 1

5

A memória está aumentando pois a cada iteração é adicionando um valor a variável quote.

Uma solução é ao invés de gravas esses dados coletados na memória é salvar em disco. Pode ser em algum arquivo ou em um banco de dados.

Exemplo com escrita em arquivos:

while 1:
    time.sleep(.1)

    for i in symbols:
        current_quote = QUOTE_client.request(i)

        arq = open('/tmp/lista.txt', 'a')
        texto = y + current_quote
        arq.write(texto)
        arq.close()
        y += 1

    y = 0

Quando precisar consultar os dados coletados, basta acessar o arquivo.

2
  • 1
    oi marcos - se voce abrir o arquivo com o modo "w", sempre vai zerar o arquivo e gravar tudo de novo. O correto aí é abrir com o modo "a" - Mas o melhor pode ser abrir o arquivo fora do "for", ai abre uma vez só. (também recomendo checar o comando "with" para abrir e fechar arquivos)
    – jsbueno
    24/02/2017 às 0:56
  • Marcos, eu fiz mesma iteração usando o getsizeof(quote), mas ela não aumenta. Também, fiz a variável receber [], depois NONE, e "del". Em todas ela continua a aumentar. Nessa leitura que faço no while, eu pego 4 valores e adiciono em um sqlite para posterior calculo. 24/02/2017 às 12:06

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .