Evite usar os métodos dataframe.apply()
ou series.apply()
, pois são lentos, o Pandas não faz julgamentos ou otimizações sobre a natureza da função usada e que portanto aplica iterativamente (loops) a função usada a série conforme necessário.
Embora iterações forneçam uma utilidade maravilhosa, cada iteração sobre um elemento é essencialmente uma única etapa na rota por todos os elementos da coleção. Este processamento passo a passo é útil quando a ordem da operação é estritamente importante.
Quando a ordem de processamento não importa o Pandas oferece um recurso mais poderoso: o processamento vetorizado. Métodos NumPy e Pandas permitem a vetorização, e quase sempre funciona mais rápido, pois o tempo de execução é constante ou cresce em uma taxa muito mais lenta com um número maior de elementos.
A vetorização se aproveita do fato das CPUs terem conjuntos de instruções "vetoriais" ou "SIMD" que aplicam a mesma operação simultaneamente a um conjunto de dados. Então vetorização é o processo de reescrever uma ação iterativa de modo que, em vez de processar um elemento de uma coleção por vez, sejam aproveitadas a operações "SIMD" para aplicar essa operação simultaneamente a vários elementos dessa coleção.
import pandas as pd
df = pd.DataFrame({'temperatura':[42.31, 38.51, 39.93, 46.63, 46.50]})
df['temperatura vetorizada'] = (df['temperatura'] - 32) / 1.8 #Converção de ºF para ºC com operação vetorizada.
df['temperatura não vetorizada'] = df['temperatura'].apply(lambda x: (x - 32) / 1.8) #Converção de ºF para ºC com operação iterativa.
print(df);
# temperatura temperatura vetorizada temperatura não vetorizada
#0 42.31 5.727778 5.727778
#1 38.51 3.616667 3.616667
#2 39.93 4.405556 4.405556
#3 46.63 8.127778 8.127778
#4 46.50 8.055556 8.055556
Teste o exemplo no replit.com
Como sugestão essa palestra sobre ganho de performance com vetorização em Pandas e Numpy