3

Carrego um arquivo CSV com mais de 3 milhões de linhas e cerca de 770 Mb, utilizo o pandas e preciso converter uma coluna que está em formato string. Abaixo a coluna 'lbBins', que ao ler do CSV veio em formato string (qual o melhor padrão para salvar o dado no CSV?), e as colunas: lnBin1 à lbBin5 resultantes da função "reshapeBin' mais abaixo.

tempFrame[['lnBins','lnBin1', 'lnBin21, 'lnBin3', 'lnBin4', 'lnBin5']].tail(2)

2445169 (0, 1, 1, 0, 0, 0, 1, 0, 1, 1, 1, 1, 0, 0, 0, ...   (0, 1, 1, 0, 0) (0, 1, 0, 1, 1) (1, 1, 0, 0, 0) (1, 1, 1, 1, 1) (0, 1, 1, 0, 1)
2445170 (0, 1, 1, 0, 0, 0, 1, 0, 1, 1, 1, 1, 0, 0, 0, ...   (0, 1, 1, 0, 0) (0, 1, 0, 1, 1) (1, 1, 0, 0, 0) (1, 1, 1, 1, 1) (0, 1, 0, 1, 1)

Como podem ver na função 'reshapeBin' preciso realizar várias funções:

eval()
np.array()
.reshape(5,5)
[num]
.tolist()
tuple()

Uso o eval() para converter a linha da tabela, convertendo de string para tuple, depois converto para array e faço o reshape, pego linha por linha do array em [num], converto para lista e depois converto para tuple visando salvar na tabela, para poder salvar a tabela no CSV novamente.

Função, porém acho que posso melhorar algo mais para ser mais rápido o processamento:

def reshapeBin(x, num):
    return tuple(np.array(eval(x)).reshape(5,5)[num].tolist())

for n in range(0,5):
    tempFrame['lnBin'+str(n+1)]=tempFrame['lnBins'].apply(reshapeBin, num=n)
    print('finalizei o ', n)

Provavelmente a forma como estou salvando do pandas para csv não seja a melhor opção, pelo menos o formato do dado: na tabela tuple e para o csv em string, e vice versa.

4
  • Não entendi: você tem a opção de modificar como os daodos estão no CSV? Ou quer dicas só para decodificar de como já está?
    – jsbueno
    8/03/2018 às 18:47
  • São sempre matrizes de 5x5 bits? Se forem e você quiser armazenar isso de forma mais eficiente, deve dar pra fazer em 4 bytes;
    – jsbueno
    8/03/2018 às 18:53
  • jsbueno . sim tenho a opção de modificar os dados, carregando em memória, aplicando as modificações e gerando um CSV atualizado. quando salvo para o CSV, a linha binária, salvo em tupla, mas qualquer carga e modificação posterior preciso converter de string para tupla e depois para array, para então aplicar a modificação. este é o problema, a performance cai drasticamente para 3 milhões de registros. 8/03/2018 às 23:55
  • jsbueno . esta análise que demonstrei são matrizes de 5x5, mas tenho outra situação que preciso formar 4 matrizes de 10. 8/03/2018 às 23:56

1 Resposta 1

0

Não consegui entender bem o seu problema - pelo menos uma linha inteira da matriz ajudaria - e entender se você quer otimizar a codificação em CSV - ou só quer a leitura final também.

Em questões dese tipo ajuda ter acesso a pelo menos uma amostra válida dos dados que você quer transformar - você só colocou duas linhas da saída de texto (resumida pelo Pandas) - e qualquer um querendo te ajudar tem que ficar imaginando como era a entrada: não é exatamente o tipo de coisa que ajuda.

No entanto estou escrevendo a resposta, por que você tem uma coisa gritante aí: você faz todo o processo com os 25 números da sua matriz se repetir 5 vezes em cada linha, ao chamar 5 vezes a função "reshapeBin".

"eval" também é bem longe de ser algo ideal a se usar. (Se pessoas externas ao seu time tiverem acesso a escrever nos seus dados, qualquer programa em Python pode ser colocado no meio dos mesmos e será executado no seu servidor - mas além disso não é a coisa mais performática do mundo).

De qualquer forma, apenas considerando as poucas linhas que você colocou aí, pode evitar ter que transformar cada linha do mesmo jeito 5 vezes fazendo algo desse tipo:

...
from ast import literal_eval

tempFrame["data"] = tempFrame["lnBins"].apply(lambda x: np.array(literal_eval(x), dtype="u1")))

for i in range(5):
    tempFrame[f"lnBin{i+1}"] = tempFrame["data"].apply(lambda x: x[i * 5: i *5 + 5])

del tempFrame["data"]

Basicamente, em vez de chamar o caro "eval" 5 vezes para cada linha, crio uma coluna temporária com a string decodificada para números (e para preservar memória, em vez de tupla, colocamos lá um np.array). Em seguida a mesma ideia sua de usar os 5 applys seguidos (note a forma atual de criar o nome da coluna), mas de cada vez pegando apenas uma fatia da sequência de 25 números (sem precisar do reshape)). Também uso o ast.literal_eval que é menos problemático que o eval.

1
  • jsbueno não conhecia a função literal_eval vou analisar e verificar a performance. qual sua sugestão para gravar uma sequencia binária, como uma coluna do dataframe ou diretamente num array, para então salvar em disco e carrega-la mais rapidamente? 9/03/2018 às 0:36

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .