2

Estou fazendo a "Tokenização" de um arquivo TXT.

Preciso que o código guarde todos os tokens em uma ArrayList, mas não pode ficar nenhum token duplicado.

Gostaria de saber como faço para remover os tokens duplicados, ou verificar se o token já existe e neste caso não adicioná-lo.

Meu código atual:

for (org.cogroo.text.Token token : sentence.getTokens()) { // lista de tokens

    token.getStart(); token.getEnd(); // caracteres onde o token comeca e termina
    token.getLexeme(); // o texto do token (palavra que ele separa e pega exp: "clinico"
    token.getLemmas(); // um array com os possiveis lemas para o par lexeme+postag
    token.getPOSTag(); // classe morfologica de acordo com o contexto("coloca "prp, adj,n(noun))
    token.getFeatures(); // genero, numero, tempo etc
    contadorTokens++;
    System.out.println(expandirAcronimos(token.getLexeme()) + "_" + token.getPOSTag() + "_" + token.getFeatures());// imprime a palavra com o tag
    gravarArq.println(token.getLexeme() + "_" + token.getPOSTag() + "_" + token.getFeatures());// grava no arquivo txt cada palavra tokenizada
    gravarArquivo.println(token.getPOSTag() + "_" + token.getFeatures());// grava no arquivo "Tokens.txt" cada token

    listaTokens.add(token.getPOSTag()); //ADICIONA as tags para dentro de uma lista 

    for(int s=0;s<listaTokens.size();s++){  //PERCORRE A LISTA
        if (!listaTokens.equals(token.getPOSTag())) {

        }
    }
}
1
  • 1
    mightduck, para sua própria sanidade mental e para facilitar quem vai te ajudar, é essencial fazer uma indentação lógica do código. Uma boa IDE ajuda nisso. . . . Talvez a resposta do mgibson já resolva, mas falta o fechamento do primeiro for...
    – brasofilo
    Commented 8/11/2014 às 15:50

1 Resposta 1

3

Para guardar elementos sem repetição, o ideal é usar um tipo de dados "conjunto" em vez de "lista". Eu sugiro o HashSet, ou talvez o LinkedHashSet se a ordem dos tokens deve ser preservada:

Set conjuntoTokens = new HashSet(); // Pode ser genérico, i.e. Set<Tipo>

for (org.cogroo.text.Token token : sentence.getTokens()) { // lista de tokens
    ...

    //listaTokens.add(token.getPOSTag()); //ADICIONA as tags para dentro de uma lista 
    boolean mudou = conjuntoTokens.add(token.getPOSTag()); // adiciona as tags no conjunto
                                                           // em vez da lista
    if ( !mudou ) {
        ... // O elemento já existia no conjunto
    }
}

listaTokens.addAll(conjuntoTokens); // adiciona todos os elementos do conjunto na lsta
4
  • então mas se eu adicionar isso a um conjunto como vou verificar se existem dois iguais no conjunto?
    – mightduck
    Commented 8/11/2014 às 19:33
  • @mightduck Se o elemento que você adicionar já existir no conjunto ele não se altera (por isso ele é um conjunto). Você pode verificar se isso aconteceu através do valor de retorno do add. Veja minha resposta atualizada.
    – mgibsonbr
    Commented 8/11/2014 às 21:36
  • eu não entendi o que faz esse If(!mudou) quando eu faço o boolean mudou ele ja verifica se ja existe dentro do conjunto e adiciona somente se ele não existir dentro?
    – mightduck
    Commented 9/11/2014 às 15:02
  • @mightduck Mais ou menos isso, sim. O tipo de dados "conjunto" já se encarrega por si só de garantir que os dados não se repitam lá dentro. Quando você chama o add então, ele vê se o dado já existe ou não, e só adiciona se ele não existe. No final, ele retorna um boolean dizendo se o conjunto mudou ou não após a chamada do add. Se o elemento ainda não existia, então ele é acrescentado, e o conjunto muda (true). Se ele já existia, ele não é, e o conjunto não muda (false). Você não precisa usar esse valor de retorno se não quiser, o if que eu coloquei no final foi só de exemplo.
    – mgibsonbr
    Commented 9/11/2014 às 18:18

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .