Existe algum serviço que faça o reconhecimento se um determinado tipo de palavra é uma preposição?
Quero fazer um ranking de palavras de um feeder rss, mas ignorando preposições.
Ignorar palavras com menos de N caracteres é um bom começo, mas talvez não seja o suficiente, pois ainda sobram grandes preposições. Segue duas listas:
Preposições essenciais: a, ante, após, até, com, contra, de, desde, em, entre, para, per, perante, por, sem, sob, sobre, trás.
Preposições acidentais: como (= na qualidade de), conforme (= de acordo com), segundo (= conforme), consoante (= conforme), durante, salvo, fora, mediante, tirante, exceto, senão, visto (=por).
Vocês conhecem algum serviço que faça essa identificação ou têm alguma ideia de como implementar um método razoável, isto é, não precisa ser 100% abrangente, mas que cubra uma parte significativa das palavras?
Pode ser em qualquer linguagem.
Obrigado.
Segue um trecho de código C# que estou utilizando no protótipo, mas que tem se mostrado pouco eficiente:
private static IEnumerable<IGrouping<string, string>> MostCommonWords(string str, int maxNumWords)
{
var prepositions = new string[] {/*...*/};
var mostCommonWords =
Regex.Split(str.ToLower(), @"\W+")
.Where(s => s.Length > 3 && !prepositions.Contains(s))
.GroupBy(s => s)
.OrderByDescending(g => g.Count()).Take(maxNumWords);
return mostCommonWords;
}