Acho que consegui. Preciso criar uma coluna adicional, que recebe um boleano conforme o resultado do match do Regex. E aí eu removo as linhas que tiverem o valor False. Algo como:
import re
import pandas
.
.
.
regex = r'^-?\d{1,2}(\.|\,)\d+$'
df['matchInverso'] = df.Latitude.astype(str).str.contains(regex, case=False, regex=True)
df.drop(df.loc[df.matchInverso == False].index, inplace=True)
Bom, essa solução não é exatamente um match inverso do Regex (apesar de ter colocado no nome da coluna), pois não consegui usar. Funcionou paraDe toda forma resolveu o meu problema, mas caso. Caso alguém queira compartilhar uma solução melhor, fique à vontade.