Preciso montar vários gráficos a partir de um arquivo ".data". Usei a biblioteca "pandas" para importar o banco de dados. Antes de mais nada, vou mostrar o código inteiro para vocês verem se há algum erro no meio do caminho, mas meu problema está mais para frente.
#Importando as bibliotecas
import pandas as pd
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.svm import LinearSVC
from sklearn.metrics import ConfusionMatrixDisplay
#Importando os dados
dados = pd.read_csv(
'https://archive.ics.uci.edu/ml/machine-learning-databases/autos/imports-85.data',
header=None
)
Após importar os dados, notei que algumas colunas do banco de dados possuem caracteres "vazios", ou melhor "?". Não sei o que isso quer dizer e creio que seja isso que esteja dando conflito. Já tentei substituir alguns "?" através do seguinte código:
dados['coluna_que_quero'] = dados['coluna_que_quero'].replace(['?'],"valor_que_quero_numerico_ou_categorico")
Sem substituir os valores "?", estava usando os seguintes códigos para filtrar o que quero:
dados = dados[['Cavalo-vapor', 'Preço', 'Fabricante']]
dados = dados[dados['Fabricante'].isin(['bmw', 'audi'])]
Montei um gráfico:
#PS: Nesse gráfico, já notei um erro das strings "?" que haviam no meu banco de dados, mas, mesmo assim, consegui montá-lo.
sns.scatterplot(
data=dados,
x="Preço",
y="Cavalo-vapor",
hue="Fabricante")
plt.show()
Meu problema: Agora, neste código a seguir, essas strings "?" estão me impedindo de criar o coeficiente da reta que preciso.
model = LinearSVC()
model.fit(dados.drop('Fabricante', axis=1), dados['Fabricante'])
a, b = model.coef_[0]
d = model.intercept_[0]
print('a:', a)
print('b:', b)
print('d:', d)
ValueError: could not convert string to float: '?'
Já vi exemplos de outro código parecido com esse de que deu certo, a única diferença é que falava sobre plantas e, no meu, sobre carros. Achei estranho montar um coeficiente através de um artefato categórico, e não numérico,
model.fit(dados.drop('Fabricante', axis=1), dados['Fabricante'])
Contexto geral: Preciso montar gráficos utilizando "scatterplot" e a biblioteca "pandas" para separar duas marcas de carro (bmw e audi) a partir de 2 características: Valores de "Cavalo-vapor" de cada um e o preço de cada um. Após isso, vou utilizar o LinearSVC para achar os coeficientes da reta, desenhar a reta através do código:
sns.scatterplot(
data=dados,
x="numerico1",
y="numerico2",
hue="categorico")
x_min = dados['numerico1'].min() - 1
x_max = dados['numerico2'].max() + 1
plt.plot([x_min, x_max], [y(x_min), y(x_max)])
plt.show()
Após isso, desenhar os erros através de uma matriz de confusão:
disp = ConfusionMatrixDisplay.from_estimator(
model,
dados.drop('categorico', axis=1),
dados['categorico'],
display_labels=['numerico1', 'numerico2'],
cmap=plt.cm.Blues,
)
disp.ax_.set_title("Matriz de confusão")
print(disp.confusion_matrix)
Como posso arrumar isto?
pd.read_csv
já vem com muitos métodos que podem ajudar bastante a "limpar" o seu banco de dados. Link : pandas.pydata.org/docs/reference/api/pandas.read_csv.html.names
deste DataSet e substituir os "?" por NaN com o 'read_csv'. Em seguida decidir, se vai se livrar da coluna (2. ) ou só das linhas ( minha sugestao) Aqui a explicacao do arquivo.names
" 8. Missing Attribute Values: (denoted by "?") Attribute #: Number of instances missing a value: 2. 41 6. 2 19. 4 20. 4 22. 2 23. 2 26. 4"