-2

Estou importando arquivos csv com o pandas para fazer uma limpeza nos dados. E estou encontrando um problema. Alguns valores tem ';' .

Por exemplo: df[0][1] = "RUA A ; "

Importo o csv através de: df = pd.read_csv('GUAXUPE.csv', header = None, sep = ',', encoding = 'utf-8')

E apesar de ter colocado o separador como a vírgula, o pandas reconhece o ' ; ' como um separador e acrescenta um campo aonde não devia, desregulando parte da tabela.

Já pesquisei na internet, li a parte da documentação do pandas que fala do read_csv() e não encontrei resposta. Alguém tem uma idéia ?

3 Respostas 3

0

Uma forma de contornar é unir a coluna com a informação à esquerda do ";" com a coluna contendo a informação à direita do ";". Ficaria algo assim:

df['dados_esquerda']+=";"+df['dados_direita']

Caso não queria nomear as colunas, acredito que esse poderia ser feito assim:

df.loc[:,1]+=";"+df.loc[:,2]

No exemplo acima, assumi que a segunda coluna contenha os dados à esquerda do ";" e a terceira coluna os dados à direita do ";".

Posteriormente, você pode apagar a coluna indesejada com o comando del:

del df[2] #ou del df['dados_direita']
11
  • Mas o problema é que é um dataframe gigantesco. Na verdade escrevi um script para tratar vários arquivos csv. importei os dados de cnpj , cnae , do site da receita federal ; e estou tratando-os. E para fazer isso , que você sugeriu , eu precisaria saber exatamente quais linhas e quais colunas, o problema acontece. Commented 17/07/2020 às 12:52
  • O problema é na hora da importação do CSV pelo panda. quando passo o read_csv() ele reconhece o ponto e virgula , mesmo entre aspas , como um separador. Commented 17/07/2020 às 12:52
  • Eu cheguei a importar usando o módulo csv do python , e depois transformando o dicionario em um dataframe. Ficou melhor . Mas ainda gera um problema de formatação das colunas... Commented 17/07/2020 às 12:56
  • Eu tive o mesmo problema quando gerei um dicionário com todas as CNAES e seus significados, e fiz a substituições da mesma na coluna CNAE . O dicionário tinha espaçamento com o TAB . E quando fazia a substituição na coluna, o pandas lia o TAB como um separador . Isso foi fácil de resolver. Usei o VScode com crl shift seta pra baixo e eliminei todos espaçamentos tab de uma vez. Commented 17/07/2020 às 12:58
  • Na verdade precisaria saber somente em quais colunas o problema acontece. Você poderia colar uma linha do csv aqui para eu poder entender melhor como ele é?
    – SergioCK
    Commented 17/07/2020 às 13:58
0

No comando engine acrescente o parametro engine, ficaria assim:

df = pd.read_csv('GUAXUPE.csv', header = None, sep = ',', encoding = 'utf-8',engine='c')

Na documentação do read_csv diz que a engine do Python reconhece separadores automaticamente, a engine do C não. Acredito que pode uncionar.

segue a doc: https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html

2
  • Eu tentei. Não deu certo. Continua reconhecendo o ponto e vírgula como separador. Commented 18/07/2020 às 10:08
  • Estou tentando usar o módulo CSV do python também. A função que converte o csv para um dicionário acaba excluindo duas colunas onde aparecem esses caracteres que estão interferindo na formação da tabela. De um lado, resolve , mas de outro não,pois preciso dessas informações, Commented 18/07/2020 às 10:46
0

Resolvi o mistério! O problema não era no pandas. Mas sim a maneira que estava fazendo a supervisão das tabelas geradas. Quando abria o arquivo .csv no libre office, o programa pedia inicialmente pra escolher quais caracteres seriam considerados como separador. E automaticamente, o ponto e vírgula estava selecionado. Fiz a supervisão das tabelas pelo jupyter notebook, e está tudo certo !

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .