Perguntas com a tag [pandas]
Pandas é uma biblioteca open source, que fornece estruturas de dados de alto desempenho e ferramentas de análise de dados para a linguagem de programação Python.
828 perguntas
0
votos
2
respostas
2mil
visitas
Substituir valor de um DATAFRAME, com lista, for e replace
Tenho duas listas, uma com nome errado e outra com o nome correto, como fazer o REPLACE usando as listas e o FOR, esse código não funcionou:
Lista com o dados a serem corrigidos:
lista_original = ['...
-2
votos
2
respostas
301
visitas
Adicionar no DF pandas: Cada valor da linha dos arquivos .txt em cada coluna [fechada]
Tenho a seguinte situação:
1)Tenho milhares de arquivos txt dentro de uma pasta.
2)Esses arquivos possuem 24 linhas e não tem cabeçalho.
3)O conteúdo de cada arquivo deve ocular uma linha do df/pandas
...
0
votos
1
resposta
353
visitas
Como faço para excluir linhas pelo conteúdo especifico da célula no pandas
Estou fazendo o pré-processamento dos meus dados utilizando a biblioteca pandas do Python.
Isto é um projeto para treinar um algorítimo a prever "roles"
Este é o resultado que eu tenho quando ...
0
votos
2
respostas
679
visitas
Pandas - Problemas com ".loc[]" em múltiplas entradas
Meu projeto possui 4 inputs dado pelo usuário que são armazenados nas variáveis a, b, c, d.
Uso essas entradas para filtrar informações vindas de um .csv gigante, armazenando-as em um dataframe. O ...
1
voto
1
resposta
1mil
visitas
Pacote pandas não reconhecido no jupyter notebook
Olá, alguém pode ajudar a entender pq o jupyter notebook não reconhece o pacote panda?
criei um ambiente virtual e instalei os pacotes para fazer analise de um conjunto de dados do enem, mas ao chamar ...
0
votos
1
resposta
342
visitas
Comparar string PANDAS Data Science
Estou começando nesse mundo de data Science e minha duvida como posso compara duas string na mesma coluna.
Tenho uma coluna [Investigation Type] que tem 'Acidente' e 'Incidente' eu queria fazer ...
0
votos
1
resposta
2mil
visitas
Como criar dataframe em pandas a partir de series com dicionários?
Em Python3 e pandas eu tenho uma série com listas. Em cada linha da série há uma lista, com dicionários dentro. Foi obtida a partir de um arquivo:
import pandas as pd
geral = pd.read_csv("...
1
voto
1
resposta
1mil
visitas
Como organizar o eixo x com seaborn?
Estou tentando fazer um gráfico sazonal com o seaborn (linhas representando os anos e meses no eixo X), ele está saindo até corretamente, exceto por uma questão:
Como o eixo X se trata de strings ele ...
1
voto
1
resposta
507
visitas
Exportar do pandas para o MS SQL usando to_sql e sqlalchemy
Meu problema é com valores Float
exemplo:
df = pd.DataFrame([1.45])
conn_str = 'mssql+pyodbc:///?odbc_connect={}'.format(params)
engine = create_engine(conn_str)
df.to_sql(name='teste',con=engine, ...
0
votos
1
resposta
659
visitas
Ao carregar meu arquivo xlsx no pandas, as linhas viraram índices das colunas. Como definir um novo indice para as colunas?
Gostaria de saber como definir novo índice para as colunas.
data = pd.read_excel('numero_automoveis_vendidos.xlsx')
data.columns
Index([7, 5, 9, 11, 10, 8, '9.1', 6, '8.1', '10.1'], dtype='object')
-1
votos
1
resposta
525
visitas
Como definir as colunas no OneHotEncoder do Sklearn?
Estou tendo um pequeno problema em fazer um código de ML para classificação definir ao usar o OneHotEncoder para realizar a categorização. Estou acompanhando um curso que utilizou o recurso da ...
0
votos
1
resposta
604
visitas
Contar valores não nulos entre determinadas colunas de dataframe
Possuo um dataframe com colunas de janeiro a setembro. Em cada uma dessas colunas existem linhas com valores numéricos, algumas são nulas.
O que preciso fazer é adicionar uma coluna total nesse ...
-2
votos
1
resposta
262
visitas
PARQUET : Problema de memoria ao rodar código em python
Tenho 12 arquivos parquet, um para cada mês do ano em um diretório x.
preciso juntar esses 12 meses em apenas um arquivo para posteriormente eu possa tratá-los.
O problema que eu estou enfrentando é ...
0
votos
1
resposta
1mil
visitas
Relacionar dois DataFrames no pandas e retornar valor no python
Tenho dois Dataframes, ambos em csv que import no pandas, um com o historico de registros de protocolos e um com uma lista de pessoaos autorizadas a fazer alterações nos registros de procotolos.
Como ...
0
votos
1
resposta
262
visitas
Parse de arquivo .txt usando Pandas a partir de regras externas em um JSON
Tenho um conjunto de dados em formato .txt que tem uma formatação própria com as regras descritas por um arquivo JSON próprio separado.
Há alguma forma direta de indicar para o Pandas usar esse JSON ...
0
votos
1
resposta
247
visitas
Separar um DataFrame
Gostaria de saber uma forma prática de como separar um DataFrame em vários pelo valor da coluna state.
Por exemplo:
AC = covid[covid['state'] == 'AC'],
AL = covid[covid['state'] == 'AL'],
AM = ...
0
votos
1
resposta
465
visitas
IF no pandas retornando The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all()
Estou com uma DS com duas colunas, uma com mês de 1 a 12, e outra com ano de 2015 a 2021, e estou tentando criar uma coluna chamada Fiscal Year.
Estou criando uma função para que quando o mês estiver ...
-5
votos
2
respostas
2mil
visitas
Concatenar colunas de uma mesma tabela
Tenho um dataframe em python com 4 colunas, preciso criar uma quinta coluna com o valor dessas 4.
Por exemplo:
Coluna 01 = valor1;
Coluna 02 = valor2;
Coluna 03 = valor3;
Coluna 04 = valor4;
Coluna 05 ...
1
voto
1
resposta
356
visitas
Dúvida em relação a manipulação do Excel através da biblioteca pandas no PyCharm
Estou com uma dúvida em relação a manipulação do Excel através da biblioteca pandas.
Primeiramente eu importo a biblioteca pandas, em seguida eu atribuo a uma variável o caminho que está a planilha.
...
1
voto
1
resposta
385
visitas
Warning looping Python Pandas, Como fazer o looping de forma diferente?
Pessoal estou fazer este looping aqui:
for i in range(1, len(candles)):
if candles['askclose'][i]> candles['askopen'][i]:
candles['Fechamento'][i]= 'alta'
Mas o jupyternotebook me ...
0
votos
1
resposta
304
visitas
Estou tentando fazer meu gráfico começar da posição 0 usando hist()
Utilizando o USAGE_PLOT ficou fácil de se fazer mas quero fazer e aprender a utilizar o hist. do mesmo jeito que está na imagem abaixo em que foi utilizado
usage_plot(trip_data, 'duration', ['...
0
votos
1
resposta
430
visitas
Usando 'groupby' em um dataframe
Tenho um dataframe com 60 colunas, mas para o caso preciso de somente 3
ID DT_DATE NR_PRICE
0 22828949 2019-02-26 453.00
1 22828949 2019-02-22 453.00
2 22828949 2019-...
0
votos
2
respostas
2mil
visitas
Como preencher uma coluna de um dataframe pandas usando valores correspondentes de outra coluna em outro dataframe?
Olá. Estou trabalhando em um projeto pessoal e preciso de uma ajuda. Tenho 2 dataframes:
solicitacoes = pd.DataFrame({'ID':[1,2,4,5],
'Equipe':['A','B','C','D','E'],
...
0
votos
2
respostas
1mil
visitas
Renomear um rotulo de grafico em Python Matplotlib
tenho um filtro de um dataframe:
F 3257703
M 2256044
com o código abaixo consegui exibir o grafico em pizza:
porcentagemSexo = sexo.value_counts(normalize=True)
rotulo = sexo.unique()
plt.pie(...
3
votos
1
resposta
730
visitas
Importar CSV para banco Pandas sem converter string para tuple
Carrego um arquivo CSV com mais de 3 milhões de linhas e cerca de 770 Mb, utilizo o pandas e preciso converter uma coluna que está em formato string.
Abaixo a coluna 'lbBins', que ao ler do CSV veio ...
0
votos
2
respostas
237
visitas
Python - Criar variavel dinamica para o firebase
Tenho um código que recebe de uma planilha o CodProduto, Descrição e Quantidade e, em seguida, os insere no banco de dados. Só que ele faz esse looping 1000x.
Como posso criar variáveis com esse db....
2
votos
1
resposta
268
visitas
tratamento de string em pandas
Boa Noite Senhores,
Tenho o seguinte Dataframe, importado de um xlsx.
NUM_LEGISLACAO DSC_URL COD_SITUACAO ... DSC_TIPO num ano
264 89.272/1984 NaN 2.0 ... ...
1
voto
1
resposta
2mil
visitas
Gráfico do Python não mostra todos os valores no eixo X
Usei a biblioteca pandas para ler um arquivo csv e criar um gráfico utilizando matplotlib:
import pandas as pd
import matplotlib.pyplot as plt
brazil_dataset = pd.read_csv('/content/states.csv')
fig,...
2
votos
2
respostas
2mil
visitas
Como resolver este erro de codificação (encoding error) no Pandas [fechada]
Estou tendo problema quando o python lê o xlsx com o pandas. Quando roda o des_pt = (f_pt.head()[pt][0]).encode('utf-8').strip() e coloca a variável pt. Tem um problema de encode pois alguns ...
-1
votos
1
resposta
2mil
visitas
Pandas: Conversão de Dataframes para imagem
Dado um Dataframe como o seguinte:
df = pd.DataFrame({'id_emp' : [13524791000109, 12053850000137, 4707821000113, 4707821000114, 1],
'name_emp': ['Cristiano', 'Gaúcho', 'Fenômeno','...
0
votos
1
resposta
70
visitas
Por que a atribuição não cria uma cópia, mesmo com "mode.copy_on_write" habilitado?
Pelo que entendi, habilitando o mode.copy_on_write, df e df_copy deveriam ser cópias independentes.
Ou seja, as mudanças em df_copy não afetariam mais df e vice-versa. Só que isso não está funcionando ...
-3
votos
2
respostas
135
visitas
Python. Em um dicionário, remover 'linhas' usando Regex [fechada]
Preciso carregar os dados de planilhas em Excel, para tratar esses dados e usá-los no QGIS. As planilhas têm várias colunas, mas as que interessam são somente as de Coordenadas, no formato WGS84, ...
-1
votos
2
respostas
20mil
visitas
Filtrar DataFrame pandas com duas ou mais condições [fechada]
Estou criando um grafico com o dataset tips, para isso preciso filtrar os dados basedos em duas ou mais condições. Meu objetivo é contar a quantidade de homens, e a quantidade de mulheres. E tambem ...
-4
votos
1
resposta
62
visitas
Configurar Horas com os dois primeiros digitos "vazios" no Pandas
tenho uma base de dados com uma coluna de Horas(THTIME), que contem horas com os dois primeiros dígitos em branco Ex: 3855 onde seria 00:38:55. preciso de uma ajuda para configurar esse horário para ...
-2
votos
1
resposta
51
visitas
to_datetime alterando os valores de coluna [fechada]
Boa noite,
ao transformar o formato da minha coluna para "datetime64", esta criando uma data e hora fictícia e jogando os dados existentes na minha coluna para o fim da hora.
df = pd....
-2
votos
2
respostas
990
visitas
Tratamento de strings com python e pandas [fechada]
Estou tentando criar uma função que percorre um dataset e remove caracteres das strings como ('?^*'), e retorna a coluna já corrigida dentro do dataset.
Como exemplo de dataset:
df = pd.DataFrame([[...
-2
votos
1
resposta
1mil
visitas
Criar dataframe pandas 1 chave e alguns valores não padronizado no dicionário
Tenho um dicionário em Python:
dict = {0:[['tela1'],['tela2'],['tela3']], 1:[['tela2']], 2:[['tela5'],['tela7']], 4:[['tela1'],['tela3']]}
e gostaría de transformar em um dataframe da seguinte maneira:...
-3
votos
2
respostas
2mil
visitas
Como formatar o resultado do sum() no dataframe em Python
Gostaria de formatar o resultado do sum().
Quando uso o seguinte comando:
# Valor concedido de aposentadoria por ano
df.groupby('Ano')['Vlr Benefícios Concedidos (R$)'].sum()
Ele me retorna o ...
0
votos
0
respostas
90
visitas
Equivalente em C# (pacote Microsoft.Data.Analysis) do Python usando pandas.DataFrame.replace
Em Python usando o Pandas, para substituir determinados valores de um dataframe eu simplimente usava a função pandas.DataFrame.replace, como no fragmento de código abaixo:
dados1['RACA'] = dados1['...
-2
votos
1
resposta
480
visitas
Criar Nova Coluna em DataFrame com base em coluna com função def_Pandas
Gostaria de adicionar em um DataFrame os resultados que obtive depois de aplicar a seguinte função em duas colunas desse DataFrame:
Colunas do DataFrame: "DATA", "VEÍCULO" e "...
-2
votos
1
resposta
88
visitas
duvida na criação de dataframe pandas
Estou com uma duvida na criação de um dataframe como exemplo
dicionario = {'pais': 'brasil', 'capital': 'brasilia', 'clima': 'tropical'}
pd.DataFrame(dicionario)
volta erro de index
mas se coloca ...
1
voto
1
resposta
113
visitas
Como comparar dois dataframes descartando as diferenças que estejam dentro de uma margem de erro
Possuo dois dataframes que recebo de processos distintos. Preciso conferir todos os valores de todas as colunas por indice.
Tenho um processo que funciona, porém acredito que o mesmo possa ser ...
-1
votos
1
resposta
1mil
visitas
Realizar filtragem de data dentro de uma coluna usando Python
boa tarde.
Estou precisando fazer uma filtragem de arquivo em Excel, essa filtragem consiste em pegar uma determinada coluna e realizar o filtro dela. Sou iniciante aqui e não sei se estou fazendo o ...
1
voto
1
resposta
463
visitas
Como realizo uma normalização de curvas no python?
Boa tarde a todos, estou fazendo uma análise exploratória de dados no Python usando o clássico DF kc_house_data, e me deparei com o seguinte problema.
Gostaria de fazer algumas comparações para ...
0
votos
0
respostas
56
visitas
Leitura de arquivo com formato fixo com linhas de diferentes padrões
Estou usando o pandas para a leitura de um arquivo txt com formato fixo, entretanto, o arquivo tem um tamanho de coluna para as linhas que começam com a letra A e outro tamanho para as linhas que ...
-1
votos
2
respostas
766
visitas
Como eu retiro caracteres alfabéticos de uma coluna de uma pd.Series? (Python)
Minha dúvida é bem simples. Dado uma pd.Series como descrita abaixo, como eu removo caracteres "ANOS" e "MESES" dela? Eu olhei a documentação do Pandas mas infelizmente não ...
-2
votos
0
respostas
35
visitas
Dúvida sobre Python e Pandas [fechada]
Estou precisando consultar um dataframe pandas pelo código CNAE de uma atividade. Esse dataframe é carregado a partir de um arquivo .csv
No dataframe tenho os campos CNPJ, NOME DA EMPRESA, CNAE ...
-1
votos
1
resposta
1mil
visitas
Tabela vazia ("Empty DataFrame") e ambiguidade de comparação no Pandas
Olá, estou tentando a uns dias montar um programa, o grosso nele está funcionando porém existem duas exigências que não se realizam de jeito nenhum. que são elas:
Quantidade e o total cobrado de ...
2
votos
3
respostas
19mil
visitas
Como mudar o tipo de uma coluna no Pandas?
Quero alterar o tipo de uma coluna de um arquivo CSV. Usei esse comando:
cand_doacoes['CPF_CNPJ_doador'] = cand_doacoes.CPF_CNPJ_doador.astype(int64)
Mas aparece o erro:
NameError ...
1
voto
1
resposta
23mil
visitas
Ordenar Python Data Frame (Pandas) em dois níveis
Eu tenho esse DataFrame e quero organiza-lo primeiro por nome e depois por ano, ou seja, sort ele em doís níveis.
Como posso fazer isso?
Country Name Country Code Indicator Name Indicator Code ...