-3

Preciso carregar os dados de planilhas em Excel, para tratar esses dados e usá-los no QGIS. As planilhas têm várias colunas, mas as que interessam são somente as de Coordenadas, no formato WGS84, então preciso eliminar todas as demais colunas, inclusive as linhas onde o formato de Coordenadas não for o esperado.

Então eu carrego os dados para um dicionário, e fica mais ou menos assim:

       Latitude  Longitude
0      -19.9582 -43.973825
1    -19.991965 -44.020202
2    19,7918400 43,9249000
3    -19.920723 -43.973443
4    -19.881086 -43.916911
...         ...        ...
3478 -19.981084 -44.057965
3479 -200000000 -43.970302
3480 -19.867943 -43.903336
3481 84,1282646 -43,918726
3482 Latitude   Longitude

Notem que alguns valores são inválidos, pois o formato correto para latitude é parecido com "-19.XXXXXX", e para Longitude, com "-43.XXXXXX". Algumas colunas têm até textos. Então pretendo remover todas essas linhas que possuem valores inválidos.

Pensei numa estratégia de aplicar Regex aos valores das colunas, e se não der match, a linha será removida. Até o momento, após algumas correções, o código acrescenta uma coluna com valores booleanos conforme o resultado do teste do Regex: match = True, se não der match o valor da coluna será False. Então, após isso eu removo as linhas que estiverem com valor False:

import os
import pandas as pd
import re

def ler_dados_excel(diretorio):
    dados = {}
    for arquivo in os.listdir(diretorio):
        if arquivo.endswith(".xlsx"):
            nome_arquivo = os.path.splitext(arquivo)[0]
            dados[nome_arquivo] = pd.read_excel(os.path.join(diretorio, arquivo))
    return dados

def tratar_coordenadas(dados):
    # Regex para testar se o valor da coluna está no formato Latitude e Longitude
    regex = r'^-?\d{1,2}[\.|\,]\d+$'
    for nome_arquivo, df in dados.items():
        # Cria uma coluna adicional, que recebe um booleano conforme o resultado da comparação com o Regex
        df['matchInverso'] = df.Latitude.astype(str).str.contains(regex)
        df['matchInverso'] = df.Longitude.astype(str).str.contains(regex)
        # Remove as linhas com valor falso na coluna MatchInverso
        df.drop(df.loc[df.matchInverso == False].index, inplace=True)
        df.drop(columns=['matchInverso'], inplace=True)

Pergunto:

  • Existe alguma forma de otimizar esse código?
  • Essa foi a melhor estratégia?
  • Seria possível ignorar essas linhas com valores inválidos já no momento da carga dos dados para o dicionário?
14
  • 2
    Não são dicionários, são DataFrames, tabelas bidimensionais e heterogêneas, enquanto dicionários são arrays associativas que armazenam dados no formato chave valor. Em algumas linhas, como a linha de índice 2 19,7918400 43,9249000, os dados usam virgula como separador decimal, o que deve ser feito com essas linhas? Deve-se tratar convertendo a virgula em ponto ou deve-se descartar essas linhas? Commented 27/05 às 2:04
  • 2
    O seu código não elimina o -200000000, mas entendi que era pra eliminar, pois não tem a vírgula ou ponto depois do segundo dígito. É pra eliminar esse caso ou não?
    – hkotsubo
    Commented 27/05 às 10:52
  • 2
    Vale lembrar que o apply, embora seja mais rápido que regex, é conhecido por ser lento. Talvez para dataframes pequenos não faça diferença, mas enfim, outra alternativa é tentar converter os campos já na fase de leitura, e depois só descartar os inválidos: ideone.com/IC5EJA
    – hkotsubo
    Commented 27/05 às 13:11
  • 2
    @DanielElias, olhe com bastante atenção os exemplos de código que o hkotsubo sugeriu em seus comentários. Principalmente a segunda sugestão que é a mais performática. Sempre que possível em longos conjuntos de dados evite usar regex, questão de performance mesmo. Commented 27/05 às 13:19
  • 2
    @DanielElias Se não quer criar outro dataframe, basta alterar meu segundo exemplo para df.dropna(inplace=True): ideone.com/6fhSPM
    – hkotsubo
    Commented 27/05 às 17:30

2 Respostas 2

-3

Acho que consegui. Preciso criar uma coluna adicional, que recebe um boleano conforme o resultado do match do Regex. E aí eu removo as linhas que tiverem o valor False. Algo como:

import re
import pandas

.
.
.

regex = r'^-?\d{1,2}(\.|\,)\d+$'

df['matchInverso'] = df.Latitude.astype(str).str.contains(regex, case=False, regex=True)

df.drop(df.loc[df.matchInverso == False].index, inplace=True)

Bom, essa solução não é exatamente um match inverso do Regex (apesar de ter colocado no nome da coluna). De toda forma resolveu o meu problema. Caso alguém queira compartilhar uma solução melhor, fique à vontade.

-4

def is_valid_latitude(lat): return pd.Series(lat).astype(str).str.match(r'^-?([1-8]?0-9?|90(.0+)?)$')

def is_valid_longitude(lon): return pd.Series(lon).astype(str).str.match(r'^-?((1[0-7]0-9?|180(.0+)?)|([1-9]?0-9?))$')

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .