8

Existe algum serviço que faça o reconhecimento se um determinado tipo de palavra é uma preposição?

Quero fazer um ranking de palavras de um feeder rss, mas ignorando preposições.

Ignorar palavras com menos de N caracteres é um bom começo, mas talvez não seja o suficiente, pois ainda sobram grandes preposições. Segue duas listas:

Preposições essenciais: a, ante, após, até, com, contra, de, desde, em, entre, para, per, perante, por, sem, sob, sobre, trás.

Preposições acidentais: como (= na qualidade de), conforme (= de acordo com), segundo (= conforme), consoante (= conforme), durante, salvo, fora, mediante, tirante, exceto, senão, visto (=por).

Vocês conhecem algum serviço que faça essa identificação ou têm alguma ideia de como implementar um método razoável, isto é, não precisa ser 100% abrangente, mas que cubra uma parte significativa das palavras?

Pode ser em qualquer linguagem.

Obrigado.

Segue um trecho de código C# que estou utilizando no protótipo, mas que tem se mostrado pouco eficiente:

private static IEnumerable<IGrouping<string, string>> MostCommonWords(string str, int maxNumWords)
{
    var prepositions = new string[] {/*...*/};
    var mostCommonWords =
        Regex.Split(str.ToLower(), @"\W+")
            .Where(s => s.Length > 3 && !prepositions.Contains(s))
            .GroupBy(s => s)
            .OrderByDescending(g => g.Count()).Take(maxNumWords);
    return mostCommonWords;
}
4
  • 2
    Por que tanto voto negativo?? Commented 24/02/2015 às 17:35
  • "Esta pergunta não mostra nenhum esforço de pesquisa; ela não é clara ou não é útil". Ele não pesquisou sobre o tema, ele simplesmente pergunta "Vocês fazem pra mim? Ou já tem pronto?".
    – mutlei
    Commented 24/02/2015 às 17:37
  • 4
    Não, discordo, a pergunta é uma indicação de um método para se fazer algo, ele não está pedindo para ninguem entregar o programa de mão beijada, alem do mais ele fez uma analise das possibilidades, esforço != codigo Commented 24/02/2015 às 17:40
  • 2
    @mutlei Em momento algum ele pediu "faça pra mim". Ele pergunta se já existe algo pronto que faça isso ou se existe algum método razoável de implementação, o que é totalmente válido. A pergunta está bem escrita e objetiva. Commented 24/02/2015 às 17:45

2 Respostas 2

6

Versão ligeiramente unixeira...

xmllint --xpath '//description'  'http://.../news.rss'  |
grep -Po '(*UTF8)(*UCP)\b[\w\d_][\w\d_\-.*#]*[\w\d_]\b|\w|\.\.\.|[,.:;()[\]?!]|\S' |
grep ... |
sort | uniq -c | sort -nr
  • line 1 - extrai a tag description do ficheiro (remoto) new.rss (adaptar o xpath às necessidades concretas, ver opção referentes name-spaces -setns)
  • line 2 - tokenizer - um token por linha (a noção de palavra é mais complicada do que parece)
  • line 3 - selecionar palavras com o minimo de 3 chars (remover se não interessar)
  • line 4 - contar ocorrências e ordenar por ordem inversa

Se for preciso juntar algo como

grep -wvf  stopwords.txt  | 

na linha 3.5 para remover as palavras contidas no ficheiro stopwords.txt

Edição1 Footnotes: Stop-words

@Pedreiro comentou: ... um dos pontos que eu queria levantar com essa questão era como conseguir cobrir uma boa parte das stopwords e eu vou aproveitar para compartilhar aqui este link que encontrei code.google.com/p/stop-words , (contêm uma coleção de listas de stop-words para diversas línguas)

Normalmente as stop-words acabam por ser

  1. palavras "gramaticais" (ex: preposições, artigos, pronomes, alguns advérbios, conjunções), -- é útil partir de uma lista como a referida pelo @Pedreiro,
  2. à qual juntamos algumas palavras demasiado comuns no contexto em causa (ex: "Folha" e "Paulo" se a RSS for de notícias do "Folha de S.Paulo")
  3. e da qual retiramos palavras informativas no nosso contexto (Ex: "visto" em RSS de burocracias de viagem é importantíssima -- "é preciso visto para entrar no Irão")

Ou seja stop-word = 1 + 2 - 3

por último: em muitos casos (1) convém não remover as stopwords! (2) faz sentido stop-locuções.

4
  • 1
    Essa regexp foi mítica ! Commented 25/02/2015 às 1:56
  • @IsvaldoFernandes, Obrigado. A bem dizer, a parte da direita, que diz respeito à pontuação pode ser retirada neste caso concreto.
    – JJoao
    Commented 25/02/2015 às 8:18
  • Obrigado pelo script, @JJoao. Aceitei a resposta porque de uma forma sucinta cobriu também a leitura do RSS que eu tinha contextualizado e aproveitei para aprender sobre o xmllint, que nesse caso precisei alterar para passar também o Namespace através do comando setns. De todo modo, um dos pontos que eu queria levantar com essa questão era como conseguir cobrir uma boa parte das stopwords e eu vou aproveitar para compartilhar aqui este link que encontrei code.google.com/p/stop-words , que tem um levantamento legal dessas palavras.
    – Pedreiro
    Commented 26/02/2015 às 3:18
  • @Pedreiro, Obrigado por tudo; Tentei incluir alguns detalhes do teu comentário na resposta, altera sem medo!
    – JJoao
    Commented 26/02/2015 às 11:52
1

Isto está ligado a mineração de dados.

Achei um apresentação no slide share (http://www.slideshare.net/andreschwerz/lucene-12290739) que talvez possa te ajudar.

Segue outros links que estão ligados ao assunto:

http://pt.wikipedia.org/wiki/Pr%C3%A9-processamento_de_texto

http://www.cin.ufpe.br/~tg/2011-1/lfag.pdf

http://labic.icmc.usp.br/?q=node/688

2
  • Obrigado pelos artigos. Não conhecia alguns termos importantes sobre o tema e isso agora está facilitando minha busca. O que está no item "3.2.2 Remoção de Stopwords"do artigo da UFPE é o que estou procurando mais detalhes de implementação.
    – Pedreiro
    Commented 24/02/2015 às 18:08
  • 3
    Você poderia incluir um resumo do que dizem os links? Porque como está sua resposta ficaria melhor como comentário (veja nosso tour). Obrigado.
    – bfavaretto
    Commented 24/02/2015 às 22:01

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .