Estou precisando lidar com um problema de junção de bases na linguagem Python. Eu possuo três camadas de pastas que eu preciso entra, encontrar o arquivo e mesclar em um dataframe. Sendo as camadas: ano, mês e dia. Os arquivos que contém os dados são do tipo .txt
e estou interpretando o algoritmo no Jupyter Notebook
. O algoritmo para juntá-las eu já fiz. Vou tentar apresentar por partes.
Primeiro eu obtenho as pastas do diretorio que contém os anos:
# Directory
os.chdir('diretorio')
# Moving first layer - year
lista_dir1 = [f for f in glob.glob('20*')]
lista_dir1.sort()
lista_dir1
Após criar uma lista com as pastas do diretório, eu faço um loop para percorrer cada elemento da lista e mapear as pastas dos meses de cada ano:
contador = 0
for t in range(len(lista_dir1)):
prim_cam = "diretorio" + '/' + lista_dir1[t]
os.chdir(prim_cam)
lista_dir2 = [f for f in glob.glob('*')]
lista_dir2 = list(map(int, lista_dir2))
lista_dir2.sort()
lista_dir2 = list(map(str, lista_dir2))
Após entrar no ano, mepear as pastas dos meses e criar uma segundo lista esses meses, eu entro em cada mes e procuro as bases de dados dos dias, criando uma terceira lista com os dias:
for p in range(len(lista_dir2)):
segun_cam = prim_cam + '/' + lista_dir2[p]
print(segun_cam)
os.chdir(segun_cam)
lista_dir3 = [f for f in glob.glob('*')]
lista_dir3 = list(map(int, lista_dir3))
lista_dir3.sort()
lista_dir3 = list(map(str, lista_dir3))
Por fim, seleciono cada base de dados, obtenho os dados e mesclo em um dataframe:
for y in range(lista_dir3):
dados = open(lista_dir3[y])
yourList = dados.readlines()
if((t == 0) and (p == 0) and (y == 0)):
dados_compl = pd.DataFrame(columns = list(yourList[0].split(',')))
for l in range(1,len(yourList)):
dados_compl.loc[l + contador*1440] = list(yourList[l].split(','))
contador += 1
else:
for l in range(1,len(yourList)):
dados_compl.loc[l + contador*1440] = list(yourList[l].split(','))
contador += 1
Ainda, eu fiz um contador chamado de contador
para indexar meu dataframe.
Bom, agora vêm as perguntas.
1. Eu estou utilizando jupyter notebook e o processo tem sido demorado, existe diferença de processamento caso eu rode o programa em um outro interpretador de Python?
2. As colunas do meu dataframe são do tipo object
Date object
Time object
Global_active_power object
Global_reactive_power object
Voltage object
Global_intensity object
Sub_metering_1 object
Sub_metering_2 object
Sub_metering_3\n object
dtype: object
seria aconselhável eu transformar as númericas para float
, isso tornaria meu processamento mais rápido?
3. Eu utilizei essas funções
dados = open(lista_dir3[y])
yourList = dados.readlines()
para fazer a leitura dos dados, será que haveria uma alternativa mais eficiente?
4. O que é um tipo de dados object
? Eu programo muito em R e não recordo de ter visto esse tipo de dados.
Atenciosamente!