3

Dado um determinado arquivo iris.csv:

"sepal_length,sepal_width,petal_length,petal_width,species"
"5.1,3.5,1.4,0.2,setosa"
"4.9,3,1.4,0.2,setosa"
"4.7,3.2,1.3,0.2,setosa"
"4.6,3.1,1.5,0.2,setosa"

Tento carregar o arquivo com o seguinte código:

import os
import numpy as np 
filename = os.path.join('iris.csv')
arquivo = np.loadtxt(filename, delimiter=',', usecols=(0,1,2,3), skiprows=1)

Erro retornado: could not convert string to float: '"5.1'

Tento remover as aspas duplas com o código abaixo, entretanto o erro persiste:

input_fd = open('iris.csv', 'r')
output_fd = open('saida.csv', 'w')
for line in input_fd.readlines():
    line = ','.join(['%s'%field.strip() for field in line.split(';')])+'\n'
    output_fd.write(line)
input_fd.close()
output_fd.close()
iris = open('saida.csv', 'r')

Então, como posso automatizar a retirada das aspas entre as linhas do arquivo .csv?

1
  • Se o seu arquivo está realmente asism, com aspas em torno da linha toda, o arquivo está incorreto - nenhuma função pronta vai poder ler o arquivo - respondo abaixo.
    – jsbueno
    29/04/2019 às 16:00

3 Respostas 3

3

Se o seu arquivo está realmente asism, com aspas em torno da linha toda, o arquivo está incorreto - nenhuma função pronta vai poder ler o arquivo - O correto para um arquivo CSV é ter apenas os valores, delimitados por um separador, e opcionalmente aspas delimitando o "conteúdo" das células - ou seja, uma linha poderia ser assim:

"5.1", "3.5" , "1.4", "0.2", "setosa"

Mas se está assim, a tendencia será que os interpretadores que vão ler esse arquivo vão interpretar cada linha como uma única célula:

"5.1,3.5,1.4,0.2,setosa"

O ideal aí seria arrumar o que quer que esteja gerando esse arquivo para que ele seja corrigido -sem as aspas em volta de cada linha.

Em não sendo possível, seria possível criar com Python avançado algo que "finge" ser o arquivo, mas remove as '"' de cada linha, e passa a linha já sem esses caracteres para os leitores. Mas tendo em vista que ess tipo de arquivo vai ser algo casual, até o problema no gerador ser resolvido, o melhor mesmo é usar umas poucas linhas de Python básico para gravar um outro arquivo, arrumado - e usar os métodos normais de leitura.

O método strip de strings é suficiente para remvover aspas no inicio e no final de uma string. Mas temos que lembrar que ao ler as linhas, o último caractere é sempre o "\n" - então incluimos esse caractere na chamada ao strip.

Note que esse código vai quebrar um arquivo que esteja corretamente colocando aspas em cada célula:

def arruma_aspas(nome_do_arquivo):
   with open(nome_do_arquivo) as entrada, open(nome_do_arquivo + ".tmp", "wt") as saida:
       for linha in entrada:
           saida.write(linha.strip('"\n' + '\n')

   return nome_do_arquivo + ".tmp"
2
  • Na verdade, as linhas estão assim: "'5.1','3.5','1.4','0.2','setosa", o que faz o python interpretar o primeiro e último elemento como string. Quando uso loaded_csv = np.genfromtxt('iris.csv', delimiter=','), a saída é [nan 3.5 1.4 0.2 nan] 29/04/2019 às 16:24
  • então fic a sugestão de usar o Pandas. O código acima, de pré-processar o arquivo pode ser usado para remover as aspas também - mas principametne se você vai precisar do dado-string da última coluna, vai precisar do Pandas de qualquer forma.
    – jsbueno
    29/04/2019 às 16:37
1

Existe uma função no numpy que seria idela pra esse caso:

from numpy import genfromtxt
loaded_csv = genfromtxt('iris.csv', delimiter=',')

Ou ainda, utilizar outra biblioteca, como pandas, que possui função específica para carregar arquivos csv.

Manual: https://docs.scipy.org/doc/numpy/reference/generated/numpy.genfromtxt.html

2
  • A saída da primeira linha loaded_csv: [nan 3.5 1.4 0.2 nan] 29/04/2019 às 14:22
  • Sim - o numpy trabalha com arrays de dados homogêneos - se você quer trabalhar com números, o que não é número ele usa o valor "NaN": "not a number". Se quiser uma tabela com colunas híbridas, em que algumas colunas são texto e outras numéricas, você deve usar o Pandas, como o indicado - o objeto fundamental do Pandas - o "DataFrame" que é criado com a função "read_csv", pode ter colunas com tipos de dados distintos, como uma planilha.
    – jsbueno
    29/04/2019 às 15:58
-1

pode-se usar o .replace("\"", "")

Ex:

palavra = "\"teste\""
out = "teste"
palavra.replace("\"", "")
out = teste
2
  • 1
    O replace não vai funcionar no caso, por que ele está usando a chamda ao numpy para ler as linhas e já processa-as - o programa do autor da pergunta não tem acesso às strings entre elas serem lidas e o numpy tentar decodificar os dados na mesma. (perdão pelo downvote, o conceito estaria correto se não fosse por isso)
    – jsbueno
    29/04/2019 às 16:11
  • Entendi seu ponto, o type do objeto não é string para fazer a manipulação e também pesquisei sobre o que é o downvote, ja me conscientizei de 2 coisas. 29/04/2019 às 16:28

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .