Linha do tempo de Importar csv com pandas. Valores da coluna com ponto e vírgula. O que fazer?
Licença atual: CC BY-SA 4.0
12 eventos
quando alternar formato | o que | por | licença | comentário | |
---|---|---|---|---|---|
21/07/2020 às 19:03 | comentário | adicionado | brunocpradom | Tentei, e não deu certo. O pandas insiste em reconhecer o ponto e vírgula como um separador, mesmo recebendo a vírgula ou qualquer outro elemento como separador. Ele reconhece também o espaçamento TAB como um separador. Tive um problema no passado com ele. Mas esse foi fácil de resolver. Era um dicionário com todos códigos CNAES e seu significado. Cortei todos espaçamentos de uma vez. | |
18/07/2020 às 14:20 | comentário | adicionado | SergioCK | Pelo visto, todos os campos possuem aspas duplas no início e no final do valor. Nesse caso, faça um teste usando como separador "," aos invés da vírgula simples. Se não funcionar, tente usar sep='["]*,["]*' Outra alternativa é importar o csv usando nova linha como separador. Aí na linha gigante que será criada, rodar um script para remover os ";". Salvar o CSV novamente e então reimportar. | |
17/07/2020 às 21:04 | comentário | adicionado | brunocpradom | É um csv para cada município do Brasil . No total , 26 GB. | |
17/07/2020 às 21:03 | comentário | adicionado | brunocpradom | Mas não são todos valores da coluna que isso acontece. Nesse csv tem umas 10 linhas apenas que tem um valor com ponto e virgula,entre as 25000 . | |
17/07/2020 às 21:01 | comentário | adicionado | brunocpradom | Essa é uma das linhas de um dos csv que dá problema . Veja que um dos valores é "LETRA:A;" | |
17/07/2020 às 21:00 | comentário | adicionado | brunocpradom | "00317713000183","1","WANDERLEIA SABBAG DUARTE","PRIVILEGIUS MULTI-MARCAS","04","20190124","63","","","","2135","19941129","4781400","AVENIDA","CONDE RIBEIRO DO VALLE","1243","LETRA: A;","IRMAOS RICCIARDI","37800000","MG","4573","GUAXUPE","35","35514071","","","","","[email protected]","50","0.0","01","6","20070701","20121231","N","","" "00317713000183","1","WANDERLEIA SABBAG DUARTE","PRIVILEGIUS MULTI-MARCAS","04","20190124","63","","","","2135","19941129","4781400","AVENIDA","CONDE RIBEIRO DO VALLE","1243","LETRA: A;","IRMAOS RICCIARDI","37800000","MG","4573" | |
17/07/2020 às 13:58 | comentário | adicionado | SergioCK | Na verdade precisaria saber somente em quais colunas o problema acontece. Você poderia colar uma linha do csv aqui para eu poder entender melhor como ele é? | |
17/07/2020 às 12:58 | comentário | adicionado | brunocpradom | Eu tive o mesmo problema quando gerei um dicionário com todas as CNAES e seus significados, e fiz a substituições da mesma na coluna CNAE . O dicionário tinha espaçamento com o TAB . E quando fazia a substituição na coluna, o pandas lia o TAB como um separador . Isso foi fácil de resolver. Usei o VScode com crl shift seta pra baixo e eliminei todos espaçamentos tab de uma vez. | |
17/07/2020 às 12:56 | comentário | adicionado | brunocpradom | Eu cheguei a importar usando o módulo csv do python , e depois transformando o dicionario em um dataframe. Ficou melhor . Mas ainda gera um problema de formatação das colunas... | |
17/07/2020 às 12:52 | comentário | adicionado | brunocpradom | O problema é na hora da importação do CSV pelo panda. quando passo o read_csv() ele reconhece o ponto e virgula , mesmo entre aspas , como um separador. | |
17/07/2020 às 12:52 | comentário | adicionado | brunocpradom | Mas o problema é que é um dataframe gigantesco. Na verdade escrevi um script para tratar vários arquivos csv. importei os dados de cnpj , cnae , do site da receita federal ; e estou tratando-os. E para fazer isso , que você sugeriu , eu precisaria saber exatamente quais linhas e quais colunas, o problema acontece. | |
17/07/2020 às 12:46 | histórico | respondeu | SergioCK | CC BY-SA 4.0 |