Boa tarde a todos, estou fazendo uma análise exploratória de dados no Python usando o clássico DF kc_house_data, e me deparei com o seguinte problema.
Gostaria de fazer algumas comparações para verificar se há ou não diferença estatística entre dois conjuntos de dados:
d1 = data['price_m2_living'].loc[data['floors'] % 1 != 0]
d2 = data['price_m2_living'].loc[data['floors'] % 1 == 0]
Antes de mais nada tinha que verificar a normalidade dos conjuntos, para isso fiz um histograma:
Verifiquei que o histograma não se assemelha a uma curva normal, entao usei o skew e o kstest em ambos os df:
print(skew(d1),skew(d2))
0.7013599441290586 1.3217600229412982
print(kstest(d1, 'norm'), kstest(d2,'norm'))
KstestResult(statistic=1.0, pvalue=0.0) KstestResult(statistic=1.0, pvalue=0.0)
Ou seja, esses dois dfs não podem ser considerados normais, portanto eu teria duas opções; 1- normalizar as curvas, 2- conferir se há diferença entre os dados usando algum teste para dados 'não normais'(nesse caso, wilcoxon)
Para isso tentei usar o scypy.stats.lognormal, mas estou tendo dificuldade, eu não sei se essa é a forma certa de normalizar a curva, já tentei algumas variações, mas nunca ao final o meu histograma parece ter normalizado. E mesmo que o meu skew(x) mostre um valor menor do que o do d1 e d2 iniciais o meu valor p do teste de kolmogorov-smirnov sempre vale 0.
df1 = lognorm.pdf(d1, d1.std())
df2 = lognorm.pdf(d1, d1.std())
Achei que essa seria a forma de normalizar essas curvas, mas não tá dando certo. Enquanto o teste de Wilcoxon, pelo que pude entender, só se aplica em curvas com o mesmo número n de valores.
Se alguém puder me ajudar, eu ficaria muito grato, já estou alguns dias empacado nisso.