1

Estou tentando ler o arquivo de datasets da Anatel, mas la está dividido por estado. Tem como eu ler todos os arquivos da pasta de uma só vez? Eu fiz lendo arquivo por arquivo e juntando todos em um unico.

#Importando os datasets do ano de 2016

df_ac2016 = pd.read_csv('dataset/Solicitações Registradas na Anatel (2016-AC).csv', sep=';', encoding='latin-1')
df_al2016 = pd.read_csv('dataset/Solicitações Registradas na Anatel (2016-AL).csv', sep=';',encoding='latin-1')
df_am2016 = pd.read_csv('dataset/Solicitações Registradas na Anatel (2016-AM).csv', sep=';',encoding='latin-1')
df_ap2016 = pd.read_csv('dataset/Solicitações Registradas na Anatel (2016-AP).csv', sep=';',encoding='latin-1')
df_ba2016 = pd.read_csv('dataset/Solicitações Registradas na Anatel (2016-BA).csv', sep=';',encoding='latin-1')
df_ce2016 = pd.read_csv('dataset/Solicitações Registradas na Anatel (2016-CE).csv', sep=';',encoding='latin-1')
df_df2016 = pd.read_csv('dataset/Solicitações Registradas na Anatel (2016-DF).csv', sep=';',encoding='latin-1')
df_es2016 = pd.read_csv('dataset/Solicitações Registradas na Anatel (2016-ES).csv', sep=';',encoding='latin-1')

2 Respostas 2

1

Isso pode ser feito usando a biblioteca glob

import glob
arquivos = glob.glob('dataset/*.csv')
# 'arquivos' agora é um array com o nome de todos os .csv existentes na pasta 'dataset'
array_df = []

for x in arquivos:
    temp_df = pd.read_csv(x, sep=';',encoding='latin-1')
    array_df.append(temp_df)

Após isso, você pode unir eles da forma que desejar.

Edição

Para concatenar eles, você pode fazer assim:

df = pd.concat(array_df, ignore_index=True)
3
  • Consegui aqui, mas agora vou ver se consigo converter para dataframe. Ele retornou uma list e quando tento passar a conversao ele so converte os indices.
    – Rafaelcvo
    Commented 22/07/2019 às 12:53
  • @RafaelM. Adicionei uma opção para concatenar os dados. Ve se te ajuda
    – Terry
    Commented 22/07/2019 às 13:48
  • Usei aqui e funcionou. Eu estava tentando força a conversão antes de concatenar.
    – Rafaelcvo
    Commented 22/07/2019 às 14:48
1

Hoje o pd.read_csv ainda não tem essa funcionalidade, porém o Dask que é uma lib baseada em pandas consegue realizar esse processamento, vc pode ler com o Dask e transformar para pandas caso queira.

Uma solução que não resolve seu problema, mas que é mais generalista seria esta abaixo:

import os
import pandas as pd

arquivos = [f for f in os.listdir("/diretorio/")]
df = pd.concat(map(pd.read_csv, arquivos))

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .