Preciso carregar os dados de planilhas em Excel, para tratar esses dados e usá-los no QGIS. As planilhas têm várias colunas, mas as que interessam são somente as de Coordenadas, no formato WGS84, então preciso eliminar todas as demais colunas, inclusive as linhas onde o formato de Coordenadas não for o esperado.
Então eu carrego os dados para um dicionário, e fica mais ou menos assim:
Latitude Longitude
0 -19.9582 -43.973825
1 -19.991965 -44.020202
2 19,7918400 43,9249000
3 -19.920723 -43.973443
4 -19.881086 -43.916911
... ... ...
3478 -19.981084 -44.057965
3479 -200000000 -43.970302
3480 -19.867943 -43.903336
3481 84,1282646 -43,918726
3482 Latitude Longitude
Notem que alguns valores são inválidos, pois o formato correto para latitude é parecido com "-19.XXXXXX", e para Longitude, com "-43.XXXXXX". Algumas colunas têm até textos. Então pretendo remover todas essas linhas que possuem valores inválidos.
Pensei numa estratégia de aplicar Regex aos valores das colunas, e se não der match
, a linha será removida. Até o momento, após algumas correções, o código acrescenta uma coluna com valores booleanos conforme o resultado do teste do Regex: match = True
, se não der match o valor da coluna será False
. Então, após isso eu removo as linhas que estiverem com valor False
:
import os
import pandas as pd
import re
def ler_dados_excel(diretorio):
dados = {}
for arquivo in os.listdir(diretorio):
if arquivo.endswith(".xlsx"):
nome_arquivo = os.path.splitext(arquivo)[0]
dados[nome_arquivo] = pd.read_excel(os.path.join(diretorio, arquivo))
return dados
def tratar_coordenadas(dados):
# Regex para testar se o valor da coluna está no formato Latitude e Longitude
regex = r'^-?\d{1,2}[\.|\,]\d+$'
for nome_arquivo, df in dados.items():
# Cria uma coluna adicional, que recebe um booleano conforme o resultado da comparação com o Regex
df['matchInverso'] = df.Latitude.astype(str).str.contains(regex)
df['matchInverso'] = df.Longitude.astype(str).str.contains(regex)
# Remove as linhas com valor falso na coluna MatchInverso
df.drop(df.loc[df.matchInverso == False].index, inplace=True)
df.drop(columns=['matchInverso'], inplace=True)
Pergunto:
- Existe alguma forma de otimizar esse código?
- Essa foi a melhor estratégia?
- Seria possível ignorar essas linhas com valores inválidos já no momento da carga dos dados para o dicionário?
19,7918400 43,9249000
, os dados usam virgula como separador decimal, o que deve ser feito com essas linhas? Deve-se tratar convertendo a virgula em ponto ou deve-se descartar essas linhas?-200000000
, mas entendi que era pra eliminar, pois não tem a vírgula ou ponto depois do segundo dígito. É pra eliminar esse caso ou não?apply
, embora seja mais rápido que regex, é conhecido por ser lento. Talvez para dataframes pequenos não faça diferença, mas enfim, outra alternativa é tentar converter os campos já na fase de leitura, e depois só descartar os inválidos: ideone.com/IC5EJAdf.dropna(inplace=True)
: ideone.com/6fhSPM