2

Tenho um arquivo txt cujas linhas possuem os seguintes dados:

0 02 020 0201 020110 Z DEMONSTRAR COMPETÊNCIAS PESSOAIS 1 Primar pela correção de atitudes

Dessa forma não consigo importar os dados nem para excel, nem pra mysql, pois as palavras não possuem o mesmo número de caracteres em relação às outras linhas do arquivo txt.

Utilizando delphi, lazarus ou java, como faço para ler a linha e incluir o caractere ";" nos espaços de forma que fique da seguinte maneira:

0 ;02 ;020 ;0201 ;020110 ;Z ;DEMONSTRAR COMPETÊNCIAS PESSOAIS ;1 ;Primar pela correção de atitudes

Cada item corresponde a um capo de tabela.

14
  • O problema é que não é em todos os espaços que você iria adicionar ; senão poderia usar essa lógica e aplicar expressão regular para identificar os espaços e utilizar o método replace do java para substituir os espaços por ;
    – R.Santos
    Commented 27/01/2017 às 17:07
  • Todas as linhas deste arquivo possuem esse mesmo formato?
    – Wilker
    Commented 27/01/2017 às 17:07
  • Sim, possuem o mesmo formato, só que a frase muda de tamanho.
    – Henqsan
    Commented 27/01/2017 às 17:14
  • Esse campo com valor Z vai ter sempre um único caractere em qualquer linha? Commented 27/01/2017 às 17:16
  • Conhece o KEdit? É fácil resolver isso com ele. Commented 27/01/2017 às 17:18

3 Respostas 3

6

Depende do Padrão dos Dados

Você pode usar uma expressão regular baseada no exemplo de dados que você colocou, mas é complicado saber se ela vai funcionar para todas as linhas porque você não tem um padrão.

Os arquivos ou são delimitados por um caractere ou são delimitados por quantidade de caracteres para cada coluna. No seu caso, não segue nem um padrão, nem outro.

Fiz um exemplo em Java usando uma expressão que funciona para a sua linha de exemplo:

String REGEX = "\\s([\\dZ]+)\\s";
String INPUT = "0 02 020 0201 020110 Z DEMONSTRAR COMPETÊNCIAS PESSOAIS 1 Primar pela correção de atitudes";
String REPLACE = " ;$1 ;";

Pattern p = Pattern.compile(REGEX);
Matcher m = p.matcher(INPUT); 
INPUT = m.replaceAll(REPLACE);

System.out.println(INPUT);

Precisa fazer os imports no Java:

import java.util.regex.Matcher;
import java.util.regex.Pattern;

Resultado:

0 ;02 ;020 ;0201 ;020110 ;Z ;DEMONSTRAR COMPETÊNCIAS PESSOAIS ;1 ;Primar pela correção de atitudes

Pode usar o RegExr para testar com mais exemplos de linhas e adaptar para a sua necessidade. O Notepad++ também faz find+replace com expressão regular, caso você tenha que fazer essa operação apenas uma vez para o arquivo.


Uma conversor em Python

Já foi postada uma resposta do Anthony para fazer o parser do arquivo em Java e acredito ser a melhor resposta para o problema. Como eu tinha baixado o arquivo e sugerido no comentário para você separar o arquivo em duas partes, resolvi deixar um exemplo em Python para fazer da forma como havia sugerido.

import re

line_count = 1

with open('C:\\temp\\CBO2002 - PerfilOcupacional.csv', 'w') as w:
    with open('C:\\temp\\CBO2002 - PerfilOcupacional.txt') as r:
        for line in r:
            if (line_count == 1):
                # parse do cabecalho
                header = re.sub(r"([\w_]+)\s*", r"\1;", line)
                w.write(header + '\n')

            elif (line_count > 2):
                # descarta a linha 2 e
                # divide em dois grupos que tem padrao definido
                side_a = line[0:22]
                side_b = line[23:]

                # faz o parse de cada grupo
                parse_side_a = re.sub(r"(\d)\s([\d|\w])", r"\1;\2", side_a)
                parse_side_b = re.sub(r"([^\d]+)\s(\d+)\s(.+)", r"\1;\2;\3", side_b)

                # junta os dois grupos (o CRLF ja esta no grupo B)
                line_out = parse_side_a + ';' + parse_side_b 
                w.write(line_out)

            line_count += 1
4
  • Olá Pagotti, obrigado pela ajuda que, aliás, foi de grande importância. Sua dica funcionou perfeitamente para a linha que postei, no entanto, fiz o teste com outras linhas e essa regra não funciona. Isso se deve ao fato de que para cada linha tanto o campo do caractere "Z" muda de valor como também as palavras subsequentes. Logo teria que ser uma expressão diferente para cada uma, o que torna difícil fazer o replace.
    – Henqsan
    Commented 27/01/2017 às 20:38
  • Esse arquivo é um arquivo texto disponibilizado pelo site do Ministério do Trabalho com o Código Brasileiro de Ocupações - CBO, mais precisamente o arquivo que contém o Perfil Ocupacional. O arquivo pode ser baixado pelo site: mtecbo.gov.br/cbosite/pages/… Ao invés deles disponibilizarem os arquivos em formato csv já delimitado, disponibilizaram dessa forma, sem delimitação. A minha necessidade é criar um banco de dados com as tabelas necessárias e populá-las com esses dados, o que está difícil.
    – Henqsan
    Commented 27/01/2017 às 20:42
  • 1
    Eu olhei o arquivo e realmente o cidadão que disponibilizou essa informação desse jeito não merecia estar empregado na área de TI. Todos os arquivos do ZIP, exceto esse de perfil ocupacional podem ser importados com a regra de colunas pq são todos "código - descrição". Para esse eu recomendo que você corte ele em dois. A primeira parte até a coluna 23 que tem um padrão, e a outra o restante onde você tem dois textos e um número, então consegue fazer o parse com uma expressão regular.
    – Pagotti
    Commented 30/01/2017 às 10:28
  • Exatamente Pagotti, e o pior é que entrei em contato com eles para pedir o arquivo em formato csv e até agora não obtive resposta.
    – Henqsan
    Commented 30/01/2017 às 16:38
2

Criei uma rotina em Delphi exclusiva para esse arquivo.

Uses System.Character;


procedure TForm1.Button1Click(Sender: TObject);
Var
   str :  string;
   linhacsv : string;
   oldFile, NewFile : TextFile;
   n : Integer;
begin
  AssignFile( newFile, 'c:\pasta\CB02002 - PerfilOcupacional.csv');
  Rewrite( newFile );

  AssignFile( oldFile, 'c:\pasta\CBO2002 - PerfilOcupacional.txt');
  Reset( oldFile );

  readln( oldFile, str ); // ignora o cabeçalho.
  readln( oldFile, str ); // e a proxima linha

  while not Eof( oldFile ) do
  begin
    linhacsv := '';
    readln( oldFile, str );
    for n := 1 to length( str ) do
    begin
      if ( str[n] = ' ' )  then
      begin
        if ( IsNumber(str[n-1]) and ( IsNumber(str[n+1]))) then
          linhacsv := linhacsv + ';'
        else if ( IsNumber(str[n-1]) and ( not IsNumber(str[n+1]))) then
          linhacsv := linhacsv + ';'
        else if ( not IsNumber(str[n-1]) and ( IsNumber(str[n+1]))) then
          linhacsv := linhacsv + ';'
        else if ( not IsNumber(str[n-1]) and ( not IsNumber(str[n+1])) and ( n = 23 )) then
          linhacsv := linhacsv + ';'
        else
         linhacsv := linhacsv + str[n]
      end else
         linhacsv := linhacsv + str[n]
    end;
    writeln( newFile, linhacsv );
  end;
  CloseFile( newFile );
  CloseFile( oldFile );

end;
1
  • Caro Reginaldo Rigo, obrigado pelo seu feedback! Agradeço imensamente por sua ajuda. Sua rotina funcionou perfeitamente para a necessidade apresentada. Agradeço também a todos os outros profissionais que colaboraram na resolução desse problema. Se não fosse pela colaboração de vocês a disseminação de conhecimentos e informação não seria tão expressiva como hoje.
    – Henqsan
    Commented 30/01/2017 às 16:40
2

Construindo em cima da ideia de replace com expressões regulares sugerida na resposta do Pagotti, eis um exemplo que processa o arquivo completo, linha a linha, conforme uma expressão regular específica. Para compilar é necessário o Java 8:

import java.io.BufferedWriter;
import java.io.IOException;
import java.nio.charset.Charset;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;

import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Parser {
    public static void main(String[] args) {
        final Pattern patternLinha =
                Pattern.compile("^(\\d) (\\d{2}) (\\d{3}) (\\d{4}) (\\d{6}) ([A-Z]) (.+?) (\\d{1,2}) (.+)$");

        final Path entrada = Paths.get(args[0]);
        final Path saida = Paths.get(args[1]);
        final Charset cs = Charset.forName(args[2]);
        final String quebraDeLinha = args[3].replace("\\r", "\r").replace("\\n", "\n");

        try (BufferedWriter bw = Files.newBufferedWriter(saida, cs)) {
            Files.lines(entrada, cs).map(linha -> {
                final Matcher matcher = patternLinha.matcher(linha);
                if (matcher.matches()) {
                    return matcher.replaceFirst("$1 ;$2 ;$3 ;$4 ;$5 ;$6 ;$7 ;$8 ;$9");
                } else {
                    throw new RuntimeException("Formato invalido para a linha: " + linha);
                }

            }).forEach(linhaTransformada -> {
                try {
                    bw.write(linhaTransformada);
                    bw.write(quebraDeLinha);
                } catch (IOException e) {
                    System.err.println("Erro ao escrever linha no arquivo de saida: " + saida.toAbsolutePath());
                    e.printStackTrace();
                }
            });
        } catch (IOException e) {
            System.err.println("Erro ao ler do arquivo de entrada: " + entrada.toAbsolutePath());
            e.printStackTrace();
        }
    }
}

Exemplo de uso:

java Parser arquivoEntrada.txt arquivoSaida.txt ISO-8859-1 \r\n

Como a pergunta não contém código ou mesmo um arquivo de exemplo não dá para ter certeza se o a resposta vai funcionar para todos os dados. Para tanto seria necessário saber qual é a estrutura formal do conteúdo, além de particularidades do arquivo como charset, tipo de quebra de linha, etc. Dito isso eu fiz o possível para deixar tudo facilmente parametrizável. Alterando o pattern e os argumentos de linha de comando é possível fazer ajustes finos.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .