1

Boa tarde a todos, estou fazendo uma análise exploratória de dados no Python usando o clássico DF kc_house_data, e me deparei com o seguinte problema.

Gostaria de fazer algumas comparações para verificar se há ou não diferença estatística entre dois conjuntos de dados:

d1 = data['price_m2_living'].loc[data['floors'] % 1 != 0]
d2 = data['price_m2_living'].loc[data['floors'] % 1 == 0]

Antes de mais nada tinha que verificar a normalidade dos conjuntos, para isso fiz um histograma:

inserir a descrição da imagem aqui inserir a descrição da imagem aqui

Verifiquei que o histograma não se assemelha a uma curva normal, entao usei o skew e o kstest em ambos os df:

print(skew(d1),skew(d2))

0.7013599441290586 1.3217600229412982

print(kstest(d1, 'norm'), kstest(d2,'norm'))

KstestResult(statistic=1.0, pvalue=0.0) KstestResult(statistic=1.0, pvalue=0.0)

Ou seja, esses dois dfs não podem ser considerados normais, portanto eu teria duas opções; 1- normalizar as curvas, 2- conferir se há diferença entre os dados usando algum teste para dados 'não normais'(nesse caso, wilcoxon)

Para isso tentei usar o scypy.stats.lognormal, mas estou tendo dificuldade, eu não sei se essa é a forma certa de normalizar a curva, já tentei algumas variações, mas nunca ao final o meu histograma parece ter normalizado. E mesmo que o meu skew(x) mostre um valor menor do que o do d1 e d2 iniciais o meu valor p do teste de kolmogorov-smirnov sempre vale 0.

df1 = lognorm.pdf(d1, d1.std())
df2 = lognorm.pdf(d1, d1.std())

Achei que essa seria a forma de normalizar essas curvas, mas não tá dando certo. Enquanto o teste de Wilcoxon, pelo que pude entender, só se aplica em curvas com o mesmo número n de valores.

Se alguém puder me ajudar, eu ficaria muito grato, já estou alguns dias empacado nisso.

2
  • Pelo tipo de assimetria você pode utilizar log nos dados. O numpy tem função de log Commented 30/01/2021 às 20:41
  • Veja se isso ajuda... Commented 30/01/2021 às 21:47

1 Resposta 1

-1

Você já tentou usar Scikit-Learn para realizar a normalização? Para isso, pode usar a classe StandardScaler que realiza esta tarefa da seguinte forma:

from sklearn.preprocessing import StandardScaler
norm = StandardScaler()

d1_norm = norm.fit_transform(d1)
d2_norm = norm.fit_transform(d2)

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .