0

Tenho a seguinte situação:

1)Tenho milhares de arquivos txt dentro de uma pasta.

2)Esses arquivos possuem 24 linhas e não tem cabeçalho.

3)O conteúdo de cada arquivo deve ocular uma linha do df/pandas

4)Cada valor/linha dos arquivos deve ficar em uma coluna do df/pandas.


Ex:
No arquivo 1.txt
valor1
valor2
...
valor24


Como deve ficar
No Df/Pandas
valor1 | valor2 | ... valor24


Até o momento estou conseguindo listar os valores em cada linha finalizando com "," apenas para confirmar que estão vindo separados.

Conseguindo listar cada arquivo finalizando com o print(-----------)

Segue o código usado até agora...(sei q pode ser aprimorado, mas primeiro tentando resolver essa parte do append' no pandas)

df_meta_true = pd.DataFrame(columns = colunas_meta)
cont = 0

for diretorio, subpastas, arquivos in os.walk(pasta_meta_True):
    for arquivo in arquivos:
        cont += 1
        
        messages = [line.rstrip() for line in open(pasta_meta_True+'/'+arquivo, 'r', encoding='utf8')]
        for message in messages[:24]:
            #print(message+",")
            
        #print("_____________________________________")
        
        +-por aqui 
         df_meta_true = **cada message em uma coluna**


#df_meta_true.head(5)

Mas não estou conseguindo realizar igual ao exemplo/objetivo acima. Se alguém tiver alguma ideia, grato!

1
  • Por favor, esclareça seu problema ou forneça detalhes adicionais a fim de destacar exatamente o que você precisa. Da forma como está escrito atualmente é difícil dizer com exatidão o que você está perguntando.
    – Comunidade Bot
    Commented 11/12/2022 às 2:02

1 Resposta 1

0

Uma maneira simples de fazê-lo, não considerando performance é ler os arquivos em listas e depois criar o dataframe.

Exemplo:

import pandas as pd

arquivos = ["arq1.txt", "arq2.txt", "arq3.txt"]

lista = []
for arq in arquivos:
    with open(arq, "r") as farq:
        lista.append(farq.read().splitlines())

df = pd.DataFrame.from_records(lista, columns=["A", "B", "C"])

Para o seu caso seria mais ou menos assim:

lista_mensagens = []
for diretorio, subpastas, arquivos in os.walk(pasta_meta_True):
    for arquivo in arquivos:
        with open(arquivo, "r") as farq:
            lista_mensagens.append(farq.read().splitlines())

df = pd.DataFrame.from_records(lista_mensagens, columns=["col1", "col2", "col3", "col4", "col5", "col6", "col7", "col8", "col9", "col10", "col11", "col12", "col13", "col14", "col15", "col16", "col17", "col18", "col19", "col20", "col21", "col22", "col23", "col24"])

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .