Eu tenho 4 pastas, e cada uma dela está recheada com csvs de 3 tipos (ap,peers,visits).
Sou iniciante em python, mas pretendia criar um script em python que fizesse merge dos ficheiros que sao peer, de maneira a ficar com 1 unico ficheiro com as linhas de todos os ficheiros peer encontrados. Além disto, queria acrescentar uma coluna ao header chamada "student", e para cada linha que escrevesse no ficheiro final de peers iria colocar o respectivo student no final.
mainfolder = sys.argv
mainfolder.pop(0)
mainfolder = mainfolder[0]
allfolders = glob.glob(mainfolder + '*\\')
with open(mainfolder + "finalpeers\\totalpeers.csv", "w") as finalPeersFile:
newpheader = '"_id","ssid","bssid","dateTime","latitude","longitude","student"\\n'
finalPeersFile.write(newpheader)
for folder in allfolders:
student = folder.split('\\')[-2]
filesTomerge = glob.glob(folder + '*.csv')
for filename in filesTomerge:
if (isPeers(filename)):
with open(filename, 'r') as p:
for line in p:
finalPeersFile.write(line)
O meu código até faz isso, mas como os headers são iguais e há ficheiros que apenas têem headers, fico com imensas linhas com headers repetidos. Além disso não consigo simplesmente pegar no header da primeira linha e adicionar "student" porque há um new line "escondido", penso que seja algo particular do python. E apesar de ter o student para adicionar no final da linha, não consigo simplesmente adicionar como se o fizesse a uma string (line + student).
Ficheiro final:
Como posso eliminar os repetidos ou juntar(merge) os ficheiros de maneira a não colocar os headers?
p.s.: Preço desculpa se estiver a fazer uma pergunta que já tenha sido feita (apesar de eu ter procurado imenso e nenhuma me ter ajudado a resolver o problema).