0

Estou precisando abrir alguns arquivos que tenho aqui que estão em formato txt o que é ainda menos comum e específico em questões de tratamento de dados, esses arquivos consistem de valores de 0.000 até 0.999 e também de -0.000 até -0.999, e cada um desses valores estão separados pela tabulação '\t'.

Esse é o conteúdo original do arquivo (testdata1.txt):

0.4422  -0.1441 0.1334  0.2333  0.5541  0.1331
0   0   0   0   0   0   0   0   0
0   0   0   0   0   0   0   0   0
0   0   0   0   0   0   0   0   0

Logo abaixo fiz esse algorítmo para poder ler todo o conteúdo do arquivo testdata1.txt e substituir as tabulações por vírgulas e colocar tudo em uma lista:

with open('testdata1.txt') as fout:
    rows = fout.readlines()
    #testrow = ['0.4422\t-0.1441\t0.1334\t0.2333\t0.5541\t0.1331\n','0\t0\t0\t0\t0\t0\t0\t0\t0\n','0\t0\t0\t0\t0\t0\t0\t0\t0\n','0\t0\t0\t0\t0\t0\t0\t0\t0\n']     
    lista = [row.replace('\t',',') for row in testrow]
    new_one = [i.replace("'","") for i in lista]
    #lista_np = np.array(lista)
    #newfile.write(row.replace('\t',','))
    #float1 = lista_np[0]
    #avali = eval(new_one[0])
    print(new_one)

Essa é a saída original antes da execução:

['0.4422\t-0.1441\t0.1334\t0.2333\t0.5541\t0.1331\n', '0\t0\t0\t0\t0\t0\t0\t0\t0\n', '0\t0\t0\t0\t0\t0\t0\t0\t0\n', '0\t0\t0\t0\t0\t0\t0\t0\t0\t']

E ele está dando essa saída após a execução:

['0.4422,-0.1441,0.1334,0.2333,0.5541,0.1331\n', '0,0,0,0,0,0,0,0,0\n', '0,0,0,0,0,0,0,0,0\n', '0,0,0,0,0,0,0,0,0\n']

O que gostaria de fazer seria tirar todas essas aspas simples de cada um dos caracteres, e conseguir fazer com que esses valores 0.4422, -0.1441, 0.1334, 0.2333 fiquem individualizados e converter cada um deles em float, assim, estou procurando juntar tudo isso em uma só posição: new_one[0] e deixar cada caractere separado, como por exemplo:

[0.4422,-0.1441,0.1334,0.2333,0.5541,0.1331,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]

Esse arquivo que criei é só um abstrato, estou trabalhando em um arquivo maior que isso só que ficaria muito longo mostrar todo ele aqui. Já tentei fazer utilizando float(new_one) e por numpy.loadtxt mas nenhum deles funcionaram ocasionando o mesmo erro:

ValueError: could not convert string to float:

Já procurei por toda a internet e não achei nada que ajudasse em relação a isso, daí agora estou empacado nessa parte.

1 Resposta 1

2

Você pode ler o arquivo como CSV sendo o delimitador o caractere \t:

import csv

def read_file(filename):
    with open(filename) as stream:
        reader = csv.reader(stream, delimiter='\t')
        for row in reader:
            yield from map(float, row)

Isso retornará um gerador que consumirá o seu arquivo já retornando todos os valores como float. Se quiser uma lista com todos eles pode fazer:

valores = read_file('data.txt')

print( list(valores) )

Isso exibiria:

[0.4422, -0.1441, 0.1334, 0.2333, 0.5541, 0.1331, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]
7
  • Executei esse código agora contudo cheguei na mesma situação: ValueError: could not convert string to float: Não sei o que acontece, se é algum erro no arquivo em sí ou devo fazer alguma coisa adicional para isso, executei exatamente como você colocou: Commented 24/09/2019 às 20:22
  • import csv def read_file(filename): with open(filename) as stream: reader = csv.reader(stream, delimiter='\t') for row in reader: yield from map(float, row) valores = read_file('testdata1.txt') print( list(valores) ) Commented 24/09/2019 às 20:22
  • @Victor parece então que o delimitador do seu arquivo não é um \t e assim não está lendo como o esperado.
    – Woss
    Commented 24/09/2019 às 20:23
  • No excel agora quando abri ele consegui separar ele por tabulação na checkbox de delimitadores e o estranho que consegui ler ele lá célula por célula, e quando imprimi ele no python logo na abertura do arquivo ele estava separado pelos \t, vou tentar ver se salvando todos eles em csv e executando o algorítmo se ajuda Commented 24/09/2019 às 20:36
  • Precisa cuidar como você acaba abrindo esse arquivo porque muitos editores substituem o caractere \t por espaços em branco dependendo da configuração. Se conseguir utilizar um delimitador mais simples, como a vírgula ou ponto e vírgula, será mais fácil. Se o fizer, basta alterar o valor de delimiter no meu código para o caractere que for utilizar.
    – Woss
    Commented 24/09/2019 às 20:39

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .