Todas as perguntas
Com as tags data-science or ciência-de-dados
53 perguntas
1
voto
0
respostas
89
visitas
Classificação Semântica para Categorização de Produtos: Estratégias e Recomendações? [fechada]
Olá, colegas, estou buscando orientação e ficaria extremamente grato por qualquer ajuda que possam oferecer.
Para contextualizar: estou trabalhando em um sistema cujo objetivo principal é categorizar ...
-2
votos
0
respostas
215
visitas
Erro persistente no download de dados financeiros com a biblioteca yfinance [fechada]
gostaria de uma resposta do por que desse erro:
Recentemente mudei para o pycharm, quando fui excutar um codigo que ja funcionava perfeitamente no jupyter, no pycharm ocorre falha no download de dados ...
-1
votos
1
resposta
71
visitas
Tratamento e juntar CSV no R [fechada]
Tenho 10 csv no R e quero extrair de cada um as seguintes colunas:
# A tibble: 744 × 24
atletas.atleta_id atletas.clube_id atletas.rodada_id atletas.pontos_num atletas.jogos_num G A DS ...
-1
votos
1
resposta
239
visitas
Machine Learning - Correlação baixa com o target
Tenho um problema de regressão linear múltipla pra realizar previsões, porém todas as minhas variáveis tem uma correlação baixa com a variável target.
Isso acaba afetando na hora da previsão?
Tem ...
0
votos
1
resposta
604
visitas
Contar valores não nulos entre determinadas colunas de dataframe
Possuo um dataframe com colunas de janeiro a setembro. Em cada uma dessas colunas existem linhas com valores numéricos, algumas são nulas.
O que preciso fazer é adicionar uma coluna total nesse ...
-2
votos
2
respostas
726
visitas
Verificar se uma lista contém os elementos de outra lista ao longo das linhas de um dataframe
Tenho o seguinte data frame:
As colunas 2 e 5 contém listas em seus conteúdos, preciso verificar ao longo do dataframe, se os items presentes na lista da coluna 5 estão presentes na lista da coluna 2....
-3
votos
1
resposta
76
visitas
Running Sum ERRO
Preciso fazer um running Sum em cada elemento de uma unica coluna de um DataFrame.
Para isso, preciso somar o elemento atual da coluna do df com o ultimo, por exemplo:
Se eu tiver uma coluna do DF, ...
-2
votos
1
resposta
116
visitas
Não consigo corrigir este erro de syntax [fechada]
Eu não estou conseguindo entender onde que está o erro que está mostrando.
Se alguém puder me ajudar eu agreço muito!
CÓDIGO:
if hoje = trecuperacao:
ncasos = newrecp_list(hoje-trecuperacao)
else:
...
0
votos
1
resposta
594
visitas
Selecionar 2 valores dentro de uma coluna de um Dataframe em Python e usar eles como "hue"
Bom, o código abaixo é para mostrar em um gráfico de barras a comparação do volume de vendas por ano das plataformas Xbox One e PS4 apenas, e não de todas as plataformas. O data base está no github: ...
2
votos
1
resposta
465
visitas
Web scraping em R: como automatizar a retirada de informações específicas de páginas?
Ideia
Minha ideia é extrair alguns dados do Campeonato Brasileiro Série A na era dos pontos corridos (2003-2021) no site besoccer.
Ferramentas utilizadas
Linguagem R
RStudio
Bibliotecas robotstxt, ...
0
votos
1
resposta
212
visitas
Mostrar graficamente a soma das vendas de vários jogos no mesmo ano
Bom, o código abaixo printa na tela a tabela com os valores corretos de quantos jogos foram vendidos globalmente em cada ano de 1980 até 2016. O data base está no github: https://github.com/malegopc/...
0
votos
2
respostas
99
visitas
Comparando indexes de um dataframe baseado em arquivo externo
Tenho um dataset de 60 milhões de registros que, mês passado, efetuei um recorte e restaram 45 milhões. Pois bem, pensando que poderia precisar destes 15 milhões um dia, salvei o index destes ...
0
votos
0
respostas
250
visitas
Criar coluna condicional considerando valor do mês anterior
Tenho um dataframe com venda de cada cliente, basicamente preciso classificar o cliente no mês como churn (perda) ou não.
Para isso a condição é que, se o cliente no mês de referência (atual) está ...
-1
votos
1
resposta
431
visitas
Acessar arquivo csv dentro do bucket minio usando python
Tenho uma imagem do Minio docker rodando na minha maquina e estou tentando acessar o arquivo csv pelo jupyter mas nao estou conseguindo. Estou usando o boto3
s3 = boto3.client('s3'
,endpoint_url = ...
1
voto
1
resposta
89
visitas
Porque essa comparação entre arrays não funciona no Python?
Considere os 3 arrays abaixo
Retorne o valor do array xarr se o valor for True no array cond. Caso contrário, retorne o valor do array yarr.
import numpy as np
xarr = np.array([1.1, 1.2, 1.3, 1.4, 1....
-2
votos
1
resposta
658
visitas
Como mostrar só maior valor após .count() no Pandas
Tenho um df que tem como origem uma planilha de vendas.
Fiz uma filtragem para pegar as colunas "ID Loja" (Que retorna o nome da loja), "Produto" (Que retorna o nome do produto ...
3
votos
2
respostas
1mil
visitas
Eliminar preposições e artigos do texto no python
Importei um arquivo para o Python onde reconheceu todas as palavras e preciso pegar a frequência que elas aparecem nesse texto, porém as maiores frequências são de preposições (de, para, com) e ...
0
votos
1
resposta
63
visitas
pivot_table de frequencia
Quero construir um pivot_table no pandas que conte a frequencia.
Por exemplo, tenho uma coluna sexo, com 2 opçoes, uma de UF, com 5 opçoes, e uma de cor, com 4 opçoes, queria fazer uma tabela que ...
0
votos
1
resposta
834
visitas
É possível substituir certos valores por NA em pandas sem o uso de laços?
Estava estudando limpeza de dados, e vi que as vezes pode haver valores int em colunas que deveriam ser string e vice versa, então a solução dada pelo autor da publicação que eu estava lendo usa um ...
0
votos
1
resposta
2mil
visitas
Pandas agrupar em grupos com um range determinando
beleza? Estou tentando agrupar valores de um dataframe que se chama
df_agenda
por idade, queria agrupar os valores dessa forma na idade: de (0-20),(20-40), (40-60) e assim até o maximo valor da ...
-1
votos
2
respostas
336
visitas
Como acessar um atributo ou método a partir de uma variável?
Estou recebendo este erro:
Erro: " 'Series' object has no attribute 'medida' "
Tem alguma maneira de colocar uma variável no lugar do método e o DataFrame reconhecer o atributo? Abaixo tem ...
-1
votos
2
respostas
1mil
visitas
Como excluir uma linha que contenha letras em um dataframe?
Quero excluir linhas que contenham letras nesse dataframe
dic = {'Código':dataframe['Cod'], 'Dimensões': list_no_x}
new_dataframe = pd.DataFrame(dic)
print(new_dataframe)
A saída fica assim:
...
0
votos
1
resposta
2mil
visitas
como diminuo um arquivo csv de 3 gb, para conseguir importar no pandas no google colab?
No colab da um erro:
"A sessão falhou depois de usar toda a RAM disponível. Se você tiver
interesse em acessar ambientes de execução com mais memória RAM,
confira o Colab Pro."
Eu queria ...
-2
votos
1
resposta
100
visitas
Problemas ao ajustar um modelo de efeitos mistos utilizando o pacote gamlss [fechada]
Estou tentando ajustar um modelo de efeitos mistos considerando o pacote gamlss.
O modelo que eu estou ajustando é definido a seguir:
library(gamlss)
ModelGamlss <- gamlss(log(Var1)~re(fixed=~log(...
-1
votos
1
resposta
458
visitas
ALTERAÇÃO DE VALORES EM UM DATFRAME
Boa tarde. Tenho um DataFrame com o seguinte head():
Observem que na coluna bmi existem valores NaN, mais precisamente, existem 201 linhas.
Quero alterar esse valor baseado na coluna age, então criei ...
1
voto
1
resposta
124
visitas
Em Data science e Programação, o que significa a expressão "Pipeline"?
O que significa a expressão "Pipeline"?
-1
votos
1
resposta
333
visitas
Como criar um Dataframe em Pandas com base em duas features e mais a contagem de uma delas?
Boa tarde a todos, estou realizando um projeto de análise de dados e estou com dificuldade em ponto específico.
Para facilitar o entendimento, eu tenho um DF com [1000000+ linhas x 29 colunas].
Nesse ...
-1
votos
1
resposta
158
visitas
Buscar valor de uma condição nas linhas e separar em um novo dataset
Tenho o seguinte dataset
Estou tentando criar um dataset, baseado no dataset acima.
Estou tentando buscar linha por linha os valores que não são NaN, exportar para um novo dataset esse valor ...
1
voto
1
resposta
463
visitas
Como realizo uma normalização de curvas no python?
Boa tarde a todos, estou fazendo uma análise exploratória de dados no Python usando o clássico DF kc_house_data, e me deparei com o seguinte problema.
Gostaria de fazer algumas comparações para ...
1
voto
1
resposta
1mil
visitas
Detecção de Outliers com python
Olá. Estou atualmente aprendendo Data Science, atualmente estou no inicio de Machine Learning, e durante meus estudos percebi vi que os dados tem de estar organizados e dentro de "linha, "...
-1
votos
2
respostas
811
visitas
Cruzar dois dataframes diferentes, com número de linhas diferentes
Tenho o seguinte dataset
df.head()
Na coluna Grau instrução, tenho os valores dos índices de cada grau de instrução, apresentados na tabela abaixo:
Grau_Instr_Bibl = {'Categoria': ['Analfabeto', 'Até ...
1
voto
2
respostas
2mil
visitas
Adição de colunas em arquivo csv - Python
Não estou conseguindo criar um arquivo csv com uma nova coluna(mês). Quando eu tento criar a coluna inteira fica apenas com o mês de dezembro(12) mas a coluna mês deveria corresponder ao número ...
1
voto
1
resposta
1mil
visitas
Pacote pandas não reconhecido no jupyter notebook
Olá, alguém pode ajudar a entender pq o jupyter notebook não reconhece o pacote panda?
criei um ambiente virtual e instalei os pacotes para fazer analise de um conjunto de dados do enem, mas ao chamar ...
-1
votos
2
respostas
1mil
visitas
Gspread do google colab e pandas
eu comecei a usar o google colab para fazer algumas análises da empresa e ele dá a opção de ao invés de ler o arquivo csv, já ler automaticamente o arquivo existente nas planilhas do google no drive. ...
0
votos
1
resposta
1mil
visitas
Como gerar um gráfico múltiplo horizontal usando python
Boa tarde, estou realizando um trabalho para a faculdade onde necessito gerar um gráfico múltiplo em barras horizontais.
Estou usando o seguinte código:
df_escolaridade['Espacialidades'] = ...
1
voto
1
resposta
979
visitas
Como gerar um ID para identificar um aluno em uma base de dados com matriculas de vários anos? [fechada]
Eu tenho a seguinte base de dados que contem matriculas de uma Instituição que estou desenvolvendo uma pesquisa, futuramente para fazer um mapeamento dos alunos eu preciso de um id que identifique ...
-1
votos
1
resposta
856
visitas
Sklearn - Diferença entre preprocessing.scale() e preprocessing.StandardScaler()
Olá!
Sou iniciante em Data Science e Machine Learning, desculpem se a dúvida é meio "besta".
Entendo a importância da padronização/normalizacão das features e em meus estudos, sempre me ...
-2
votos
1
resposta
1mil
visitas
Gráfico de Barras separadas - python [colab]
Pessoal como faço para fazer com que no gráfico as barras de receitas e gastos fiquem separadas e não sobrepostas? Agradeço de puderem ajudar.
import pandas as pd
import matplotlib.pyplot as plt
#...
1
voto
1
resposta
215
visitas
Sugestão de melhoria de codigo, para abertura de varios arquivos csv em diretorios diferentes
Boa noite amigos, um amigo me passou um código que ele estava desenvolvendo para que eu pudesse estudar, porem eu gostaria de ver uma melhor alternativa para a abertura de vários arquivos .csv, só que ...
-1
votos
2
respostas
2mil
visitas
Rótulo para gráfico de barras - Matplotlib
Olá, tenho esse dataframe:
Estou gerando um gráfico de barras de mortes por dia, gostaria de colocar rótulos nas barras para mostrar número para cada dia.
plt.figure(figsize=(12, 8))
plt.bar(df2['...
-1
votos
1
resposta
319
visitas
Acessar dados e alterar csv ou txt com python
Eu tenho esse script que faz tratativas de dados, peguei alguns exemplos da internet mas não consegui acessar os dados, antes de gravar em csv eu preciso modificar alguns campos, por exemplo, o campo ...
3
votos
1
resposta
1mil
visitas
KeyError: '>R' no Python do Google Colab
Copiei o seguinte código de um tutorial de visualização de dados em Python, mas ele não executa devidamente, avisando KeyError como visto no título. Alguém pode me ajudar? Tem algo errado aí?
entrada ...
0
votos
1
resposta
89
visitas
É possível usar o K-means (ou outro método de clusterização) com limite de pontos?
Estou desenvolvendo um código de cluster com k-means e tenho a seguinte pergunta: É possível determinar os limites de pontos por cluster com k-means ou outro algoritmo?
Explicando melhor o caso, no ...
1
voto
0
respostas
120
visitas
Problema com os xticks - matplotlib
Sou iniciante na área de data science e estou desenvolvendo minha solução para o problema do titanic no Kaggle (https://www.kaggle.com/c/titanic).
No momento estou criando uma visualização para para ...
0
votos
1
resposta
2mil
visitas
Como abrir um arquivo .sql no pandas?
Pretendo fazer um dataframe de um banco de dados que importei do pgadmin4 como um arquivo 'vialactea.sql' quando tento executar o comando do pandas no jupyter só da mensagem de erro.
O banco esta ...
3
votos
1
resposta
142
visitas
Existe relação entre Ciência de dados e Analise de dados?
Estava lendo a respeito de analise de dados e fiquei com uma dúvida em relação ao conceito ciência de dados e analise de dados. Não consigo ver diferenças entre os dois termos, ambos me parecem a ...
1
voto
1
resposta
682
visitas
Controlando o intervalo de plot do matplotlib , problema de uso de 100% da memória ram
Olá comunidade do Stackoverflow :)
Estou desenvolvendo um código pequeno que plote o gráfico a partir de 2 listas preenchidas a partir de uma equação enquanto uma condição while não estiver ...
12
votos
1
resposta
1mil
visitas
Por que devemos escalar/padronizar valores das variáveis e como reverter essa transformação?
Ao trabalhar com algoritmos de previsão que usam multivariáveis me deparei com a função scale do R, que cujo objetivo é escalar/padronizar os valores das variáveis.
Não tenho dificuldades na ...
2
votos
3
respostas
5mil
visitas
Como funciona o método train_test_split no Scikit Learn?
Estou aprendendo machine learning e na maioria dos exemplos é utilizado o método train_test_split() e não há uma explicação muito precisa sobre ele (pelo menos não nos artigos que já li).
Sei que sua ...
-3
votos
1
resposta
1mil
visitas
Como ordenar uma coluna no Pandas pivot_table
É o seguinte, preciso ordernar uma pivot table para me mostrar os valores do maior para o menor.
impute_grps = df.pivot_table(values=["winPlacePerc"],
index=["matchType"],
...