Perguntas com a tag [pandas]
Pandas é uma biblioteca open source, que fornece estruturas de dados de alto desempenho e ferramentas de análise de dados para a linguagem de programação Python.
828 perguntas
0
votos
1
resposta
70
visitas
Por que a atribuição não cria uma cópia, mesmo com "mode.copy_on_write" habilitado?
Pelo que entendi, habilitando o mode.copy_on_write, df e df_copy deveriam ser cópias independentes.
Ou seja, as mudanças em df_copy não afetariam mais df e vice-versa. Só que isso não está funcionando ...
-3
votos
2
respostas
135
visitas
Python. Em um dicionário, remover 'linhas' usando Regex [fechada]
Preciso carregar os dados de planilhas em Excel, para tratar esses dados e usá-los no QGIS. As planilhas têm várias colunas, mas as que interessam são somente as de Coordenadas, no formato WGS84, ...
-4
votos
1
resposta
62
visitas
Configurar Horas com os dois primeiros digitos "vazios" no Pandas
tenho uma base de dados com uma coluna de Horas(THTIME), que contem horas com os dois primeiros dígitos em branco Ex: 3855 onde seria 00:38:55. preciso de uma ajuda para configurar esse horário para ...
-2
votos
1
resposta
51
visitas
to_datetime alterando os valores de coluna [fechada]
Boa noite,
ao transformar o formato da minha coluna para "datetime64", esta criando uma data e hora fictícia e jogando os dados existentes na minha coluna para o fim da hora.
df = pd....
0
votos
0
respostas
90
visitas
Equivalente em C# (pacote Microsoft.Data.Analysis) do Python usando pandas.DataFrame.replace
Em Python usando o Pandas, para substituir determinados valores de um dataframe eu simplimente usava a função pandas.DataFrame.replace, como no fragmento de código abaixo:
dados1['RACA'] = dados1['...
-2
votos
1
resposta
479
visitas
Criar Nova Coluna em DataFrame com base em coluna com função def_Pandas
Gostaria de adicionar em um DataFrame os resultados que obtive depois de aplicar a seguinte função em duas colunas desse DataFrame:
Colunas do DataFrame: "DATA", "VEÍCULO" e "...
1
voto
1
resposta
113
visitas
Como comparar dois dataframes descartando as diferenças que estejam dentro de uma margem de erro
Possuo dois dataframes que recebo de processos distintos. Preciso conferir todos os valores de todas as colunas por indice.
Tenho um processo que funciona, porém acredito que o mesmo possa ser ...
0
votos
0
respostas
56
visitas
Leitura de arquivo com formato fixo com linhas de diferentes padrões
Estou usando o pandas para a leitura de um arquivo txt com formato fixo, entretanto, o arquivo tem um tamanho de coluna para as linhas que começam com a letra A e outro tamanho para as linhas que ...
-2
votos
1
resposta
262
visitas
PARQUET : Problema de memoria ao rodar código em python
Tenho 12 arquivos parquet, um para cada mês do ano em um diretório x.
preciso juntar esses 12 meses em apenas um arquivo para posteriormente eu possa tratá-los.
O problema que eu estou enfrentando é ...
-2
votos
0
respostas
35
visitas
Dúvida sobre Python e Pandas [fechada]
Estou precisando consultar um dataframe pandas pelo código CNAE de uma atividade. Esse dataframe é carregado a partir de um arquivo .csv
No dataframe tenho os campos CNPJ, NOME DA EMPRESA, CNAE ...
-1
votos
1
resposta
337
visitas
Crie novos st.metrics para cada valor de um data frame usando laço for
Eu tenho um data frame com vários valores, deizxei apenas 3 para poder resumir onde tenho que fazer um card para cada valor exclusivo utilizando streamlit st.matric.
import streamlit as st
df = {&...
0
votos
1
resposta
213
visitas
Como extrair tipo de dados de uma unica coluna e enviar para uma nova coluna em python, pandas e numpy
na minha cabeça o codigo abaixo era para separar os dados em 2 colunas...
tenho uma tabela que contem float e hora misturados na mesma coluna e precisa separar para poder fazer uma conta. Exemplo: o ...
-1
votos
1
resposta
342
visitas
Estou tentando ler um json e converter em um arquivo xlsx com pandas
Estou tentando especificar quais colunas eu quero pegar e transformar, mas todas são convertidas.
{
"livros": [
{
"imgCapa": "https://s3.novatec.com.br/capas/...
-1
votos
1
resposta
236
visitas
Tratar valores monetários R$ XX,YY M / B / K em pandas?
Estou tratando dados de um dataframe que vem com valores com virgulas e % com virgulas, segue exemplos que já estão funcionando:
# Substituir porcentagens com vírgula por floats
# 10,08%, 1,06%...
-2
votos
1
resposta
220
visitas
Como acessar um par de valores dentro de um DataFrame pandas/Python?
Olá, amigos, tudo bem?
Estou desenvolvendo uma solução que verifica se um par de valores numa lista corresponde a um par de valores DataFrame. Esse DataFrame é o relatório de municípios do IBGE (https:...
-1
votos
1
resposta
112
visitas
Estou a tentar duplicar as linhas com um For conforme o valor do stock
Eu usei dois fores um para recolher o valor do stock em todas as linhas do dataframe e outro para duplicar cada linha por esse número.
Mas invés de duplicar todas as linhas por os seus respectivos ...
-2
votos
1
resposta
48
visitas
ComandoIf - Programa não retorna valores
Olá,
Esta me tomando um tempo para descobrir onde estou errando. Gostaria de comparar as colunas de duas tabelas excel (uma na planilha 1 e outra na planilha2). A tabela é a seguinte:
tabela coilid
...
-3
votos
1
resposta
3mil
visitas
VsCode não reconhece biblioteca
Sou iniciante e vou começar a usar a biblioteca pandas.
Digitei no meu CMD:
pip install pandas
e aparentemente tudo funcionou legal.
Mas estou tentando usar a biblioteca e me devolve este erro:
...
-2
votos
1
resposta
839
visitas
Como transformar uma data em formato objeto que contém dia mes ano e hora para somente dia mes ano
De que forma da para converter data em formato objeto tendo dia, mês e o ano hora, para somente com dia, mês e o ano para realizer operações de soma de consumo de material por data?
Criei dessa ...
1
voto
0
respostas
290
visitas
Como remover as linhas duplicadas em um pandas dataframe com chunksize definido?
Dado que há um dataframe
import pandas as pd
df = pd.DataFrame({'A':[1, 2, 1, 1, 1, 1], 'B': [1, 1, 1, 1, 2, 3]})
df.to_csv("tmp.csv", sep="|", index=False)
df = pd.read_csv("...
-2
votos
1
resposta
37
visitas
VINCULAR(MESCALR) VALORES NO DATAFRAME "PANDAS"
Olá,
estou criando uma tabela que atualiza a cada 30min, e a cada atualização sempre vem um valor diferente em uma coluna especifica, só que ao utilizar o merge, cria-se outra coluna nos locais em que ...
-1
votos
1
resposta
614
visitas
Erro ao inserir Dataframe Pandas na base de dados MySQL com a função to.sql()
Ao tentar executar este código:
import mysql.connector
import pandas as pd
df = pd.read_csv('arquivo.csv',
sep=",",
encoding="ANSI",
...
-2
votos
1
resposta
54
visitas
Dropando dataframe em blocos e preenchendo valores no pandas
Preciso deduplicar uma base de dados, preservando alguns blocos de dados.
Tenho uma base com as colunas de Data, Chamada e Id, preciso implementar uma regra da seguinte forma:
Toda regra B tem uma ...
-2
votos
1
resposta
110
visitas
Levar dado da linha atual, para linha anterior, se o teste logico for verdadeiro
Preciso levar os dados da coluna Histórico, para a coluna Descrição, porém de maneira que os dados fiquem alinhados com as informações, já preenchidas nas outras colunas.
Por exemplo, conforme a ...
-1
votos
1
resposta
372
visitas
Há alguma forma do loop rodar para cada repetição numa tabela?
Estou montando um script no Selenium pelo Python. Através do loop, ele lê cada linha de uma tabela em excel e preenche um cadastro numa página web com informações de colunas específicas.
Segue tabela ...
-3
votos
1
resposta
3mil
visitas
preciso saber como remove índices com pandas
Estou usando a biblioteca Pandas para resolver um desafio aqui onde trabalho. A partir de uma tabela em xlsx, preciso organizar as informações nela contida. criando uma quebra de linha
(por exemplo:
...
-3
votos
1
resposta
117
visitas
Copiar dado da linha anterior se o teste logico falhar
Estou tentando realizar uma operação com pandas, mas estou travando em uma parte, não sei se da logica ou por não saber qual a melhor função usar do python/pandas.
Imagem do meu dataframe:
Código:
...
0
votos
1
resposta
339
visitas
retornar linha inteira a partir do menor valor de uma coluna
Estou precisando que meu DataFrame retorne a linha a partir do menor valor de uma coluna específica do mesmo DataFrame.
Tenho um DataFrame conforme ao ilustrado abaixo:
cod. valor
0 AA 0....
-4
votos
1
resposta
130
visitas
Script para validar e padronizar gramática com Panda em Python
boa tarde!
Estou usando Panda no Python para ler algumas planilhas de excel, juntar em uma só e tratar os dados.
Nisso tem uma coluna chamada bairro, onde alguns bairros se repetem porém de formas ...
-1
votos
1
resposta
122
visitas
Manipular DataFrame pandas
Tenho esse dataframe:
import pandas as pd
dados = [['Empresax', 'AC', '803.5', ''],
['Empresay', 'AC', '776.6', ''],
['Empresaxy', 'AC', '', ''],
['Empresaxyx', '...
-5
votos
2
respostas
2mil
visitas
Concatenar colunas de uma mesma tabela
Tenho um dataframe em python com 4 colunas, preciso criar uma quinta coluna com o valor dessas 4.
Por exemplo:
Coluna 01 = valor1;
Coluna 02 = valor2;
Coluna 03 = valor3;
Coluna 04 = valor4;
Coluna 05 ...
-3
votos
1
resposta
109
visitas
Range de um dataframe - Python
Galera, eu tenho um dataframe onde uma das minhas colunas é um número de chassi.
A partir dessa coluna eu preciso criar outra com os últimos 8 dígitos desse chassi.
Alguém sabe como fazer isso?
-4
votos
2
respostas
521
visitas
Agrupar DataFrame por Data Máxima de cada mês considerando a coluna de nome com Python
Olá!
Estou tentando agrupar um df a partir da data máxima de cada mês considerando a coluna NOME.
Tenho o seguinte data frame:
NOME DATA
ABC 05/01/2023
ABC 07/01/2023
DEF 01/02/2023
DEF 09/...
-3
votos
1
resposta
138
visitas
Retornar soma de casos de uma tabela
Utilizando a base de dados dos passageiros do Titanic, preciso contar o número de sobreviventes e "printar" a seguinte mensagem: "O número de sobreviventes é igual a: 342 pessoas"
...
0
votos
1
resposta
412
visitas
Transformar colunas em linhas Python
Preciso transformar colunas de ocorrências em linhas para cada CPF.
Exemplo, tenho uma coluna em que as ocorrências de data e valor estão separadas em colunas, conforme abaixo:
df = pd.DataFrame({
...
-2
votos
2
respostas
166
visitas
Como mostrar mais de um valor em um data frame?
Estou usando uma base de dados com o seguinte dataframe
Código Venda Data ID Loja Produto Quantidade Valor Unitário Valor Final
0 1 2019-01-01 Iguatemi Esplanada Sapato Estampa 1 358 ...
-3
votos
1
resposta
715
visitas
Pandas - Criar coluna nova com contagem de ocorrências
Tenho um dataframe relativamente grande e gostaria de criar uma coluna chamada contagem com o número de ocorrências da mesma linha no mesmo dataframe, quando o valor de determinadas linhas for igual ...
1
voto
1
resposta
65
visitas
Quero pegar a linha que tenha a maior nota do Enem em um Dataframe
Quero saber como pegar a linha com a maior nota dentro de um DataFrame com as notas do Enem.
Eu usei a função .max() na coluna que eu queria, mas ela só retorna o valor daquela coluna e eu quero ...
1
voto
1
resposta
88
visitas
Contar sequencias de zeros baseado em outra coluna
Estou tentando fazer uma rotina onde eu possa contar os registros zero em sequencia de uma coluna de frutas.
Funciona assim: Cada linha uma fruta é mostrada e a coluna C representa se a fruta foi ...
0
votos
2
respostas
520
visitas
Como ler um arquivo txt com tamanho dos campos fixos usando Pandas
Ola, tenho um arquivo .txt que esta da seguinte forma:
"001","nome sobrenome","masculino","1231111322","email@msdsd"
Como eu posso ler ele usando ...
-2
votos
1
resposta
324
visitas
como escolher a primeira linha do retorno de um loc - PANDAS?
no meu exemplo abaixo:
RETORNO = DATAFRAME.loc[DATAFRAME['CPF'] == "000.000.000-00"]
CONTROLE = RETORNO["COLUNA_CONTROLE"]
a variavel CONTROLE, retorna 1 ou mais linhas (como faço ...
0
votos
1
resposta
968
visitas
como retornar duas ou mais colunas usando o .loc ou .iloc no pandas?
atualmente eu uso o seguinte metodo:
retorno = DATAFRAME.loc[:,'coluna_a'].unique()
onde eu retorno todos os dados unicos daquela coluna, porem so obtenho o retorno dos dados daquela coluna, eu ...
-1
votos
1
resposta
238
visitas
Machine Learning - Correlação baixa com o target
Tenho um problema de regressão linear múltipla pra realizar previsões, porém todas as minhas variáveis tem uma correlação baixa com a variável target.
Isso acaba afetando na hora da previsão?
Tem ...
0
votos
1
resposta
119
visitas
Deletar todas as palavras depois de um caractere específico
Gostaria de deletar todas as palavras, caracteres e espaços que aparecem depois da barra (/) em um dataframe pandas, porém não sei como fazer.
Eu usei este código para substituir erros em vogais em ...
-2
votos
1
resposta
739
visitas
LEFT OUTER JOIN NO DATAFRAME COM PANDAS
JÁ SANEI MINHA DÚVIDA, E DESCOBRI QUE POSSUE CAMPOS UC'S REPETIDOS NA BASE DE DADOS, porém segue abaixo quem quiser ler a pergunta e resolução:
Estou tentando receber depois da união de 2 dataframes, ...
-1
votos
1
resposta
259
visitas
Como excluir os últimos caracteres de uma coluna? [fechada]
Estou no Jupyter Notebook trabalhando com Python, utilizando Pandas.
Estou trabalhando em uma planilha com 4 colunas.
Na coluna ('Data Inicial'), preciso remover os 9 últimos caracteres.
O primeiro ...
0
votos
1
resposta
535
visitas
Como eliminar colunas sem títulos e dados no dataframe criado a partir do Openpyxl
Transformei o objeto Openpyxl (pasta_quimica), criado a partir de uma planilha, em um Dataframe.
# Transforma objeto openpyxl em DataFrame
dados = pasta_quimica.values
cabecalho = next(dados)[0:]
df = ...
-3
votos
1
resposta
141
visitas
filtrar numero dentro de um texto (.txt ou .csv) com python [fechada]
Sou novo no Python e não estou conseguindo encontrar uma forma de buscar um número dentro de um .txt. Basicamente, quero buscar um número dentro de um arquivo de texto independente de como ele esteja ...
-2
votos
2
respostas
301
visitas
Adicionar no DF pandas: Cada valor da linha dos arquivos .txt em cada coluna [fechada]
Tenho a seguinte situação:
1)Tenho milhares de arquivos txt dentro de uma pasta.
2)Esses arquivos possuem 24 linhas e não tem cabeçalho.
3)O conteúdo de cada arquivo deve ocular uma linha do df/pandas
...
0
votos
1
resposta
41
visitas
Reunir dataframes
Bom dia.
Para aplicar um algoritmo de balanceamento, separo um dataframe em X e y:
X = df.drop(['covid_longa'], axis=1)
y = df['covid_longa']
Balanceamento:
from collections import Counter
from ...