0

Preciso manipular dados CSV sem utilizar o pandas e nem o numpy. Tem colunas especificas para manipular, então como faço da melhor forma percorrer pelas colunas, fazer essa leitura de dados de cada uma e poder trabalhar com cada um?

Exemplo:

Meu arquivo csv tem colunas:

A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P,Q,R,S,T,U,V,X,Z

Eu vejo em linhas no Python, preciso trabalhar apenas com colunas A(que contem nome completo), B(idade), C(cidade), K(cargo) e S(salario), então algumas colunas vou ter que fazer cálculos como quais são mais velhos, quantos pertencem a mesma cidade, outros apenas apresentar a informação contida.

Ao pesquisar tive essa sugestão de criar um novo arquivo excluindo os dados que não preciso trabalhar e permanecendo apenas os que serão utilizados. Porém está gerando erro.

 import csv

with open('data.csv') as stream, \
open('resultado.csv', 'w') as output:

reader = csv.DictReader(stream, delimiter=',')
writer = csv.DictWriter(output, delimiter=',', fieldnames=['nome','Idade','Cidade','Cargo','Salario'])

writer.writeheader()

for row in reader:
    del row[D,E,F,G,H,I,J,L,M,N,O,P,Q,R,T,U,V,X,Z]
    writer.writerow(row)´´´

Podem me ajudar com este erro? E qual a melhor forma de percorrer o arquivo para que eu possa isolar as colunas e trabalhar nas mesmas?

Obrigada!

1 Resposta 1

5

Arquivos CSV sempre são lidos linha a linha. No entanto, a não ser que sejam realmente muito grandes, os dados cabem todos na memória (se não couberem, um sistema especializado é necessário - mesmo a biblioteca Pandas depende de colocar todos os dados na memória).

Em particular, eu não entendi como ter um novo arquivo pode ajudar nesse caso- no exemplo que dado, estaria apenas renomeando as colunas, mas continuaria tendo uma coluna pra "nome" - só que teria o título "nome" em vez de "A". Então vamos focar em ter as colunas na memória, e você pode trabalhar a partir daí (a leitura de um arquivo desse tipo tem tempo negligível - então tudo bem ler os dados toda vez que rodar o programa)

Via de regra, em Python moderno, o isolamento de uma tabela em colunas que vão ser tratadas separadamente é mais prático com o Pandas mesmo, que tem isso praticamente pronto. Como você explicitamente mencionou que não quer usar o Pandas ou o numpy, a forma simples é ler todas os dados como arquivo CSV, e então, tendo em mãos uma "lista de listas", onde cada elemento é uma lista, fazer uma transposição desses dados. Uma forma prática de fazer a transposição é com a função zip - mas vamos por partes, para ficar compreensível.

Em vez de usar o zip para simplesmente transpor os dados, o que pode ser feito em uma linha, vou escrever algumas linhas de código que vão:

  1. criar um dicionário que vai ser sua estrutura final de dados. Cada chave no dicionário vai ser o título da coluna, e valor vai ser uma lista com os dados daquela coluna. Para isso, o código vai usar a primeira linha do arquivo CSV.
  2. Percorrer linha a linha dos dados, com um for,e aí usar a função zip para parear o dado de cada coluna com a lista correspondente no dicionário criado.

A função zip faz justamente isso: dado dois ou mais objeto interaveis, ela pega um elemento de cada um desse objetos como resultado em cada iteração. Como o for do Python permite que você coloque mais de uma variável, isso funciona muito bem - na prática o for do Python com uso do ZIP pode percorrer ao mesmo tempo, em paralelo, a sequência de listas na estrutura de dados que criamos e os dados daquela linha. Adicionamos o dado na lista, e passamos para a próxima coluna. Ao final da linha, o for é repetido, pegando as mesmas listas no dicionário de dados, mas os dados da próxima coluna:

Antes de fazer direto no arquivo CSV, para ficar mais didático, segue um exemplo disso no modo interativo:

In [31]: tabela = [[1, 2, 3], [4, 5, 6]]                                                                           

In [32]: dados = {"a": [], "b": [], "c": []}                                                                       

In [33]: for linha in tabela: 
    ...:     for coluna_dados, valor in zip(dados.items(), linha): 
    ...:         print(coluna_dados, valor) 
    ...:         coluna_dados[1].append(valor) 
    ...:                                                                                                           
('a', []) 1
('b', []) 2
('c', []) 3
('a', [1]) 4
('b', [2]) 5
('c', [3]) 6

In [34]: print (dados)     
{'a': [1, 4], 'b': [2, 5], 'c': [3, 6]}

E o código para fazer a mesma coisa, mas com os dados do arquivo CSV:

from collections import OrderedDict
import csv
with open('data.csv') as stream:
    reader = csv.reader(stream)

    data = OrderedDict((column_name, []) for column_name in next(reader))
for row in reader:
   for column, value in zip(data.values(), row):
       column.append(value)

Nesse ponto do código a variável data é o dicionário descrito acima: em que cada coluna do arquivo CSV original tem uma chave com seu título, e todos os valores numa lista.

Eu usei o OrderedDict acima para garantir que o código funcione em qualquer versão do Python - mas a partir do Python 3.7, dicionários normais preservam a ordem - então pode-se usar um dict normal em vez do OrderedDict nesse código. (Em versões mais antigas, um dict normal não iria garantir a ordem das colunas)

Pandas

Em projetos que não tem restrições ao uso de Pandas, a estrutura nativa "DataFrame" do Pandas já provê acesso por colunas naturalmente - o DataFrame funciona também como um mapa, onde o título de cada coluna é uma série com seus dados:

import pandas as pd
data = pd.read_csv("meuarquivo.csv")
print(data["A"])
1
  • Muito obrigada!!! ^_^ Commented 11/02/2019 às 9:20

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .