Recentemente li um artigo que analisava o tamanho das frases de vários autores. Era um estudo estilístico de suas obras.
Como faço para ler um texto (com vários parágrafos) e extrair as suas frases? Preferencialmente em Java.
Stack Overflow em Português é um site de perguntas e respostas para programadores profissionais e entusiastas. Leva apenas um minuto para se inscrever.
Inscreva-se para participar desta comunidadeComeçando com o exemplo mais simples, assumimos que uma frase termina em ponto, seguido de um espaço (ou quebra de linha):
Ela é carioca. Ele, paulista.
Bastaria um split()
da String usando o ponto seguido de qualquer caractere de espaço, lembrando de escapar os caracteres com \
:
s.split("\\.\\s+");
Porém temos que considerar também ponto de exclamação e interrogação:
Onde esteve? Estava preocupada!
Para isso vamos utilizar um positive lookbehind do RegEx:
s.split("(?<=[.!?])\\s+");
Porém temos que considerar que algumas frases podem estar entre aspas simples ou duplas, no caso de diálogos.
"Hoje estou velho?" — disse o meu pai.
Para isso vamos incorporar esses elementos no pattern, lembrando que o travessão é um caracter que pode ser removido ou mantido (dependendo do desejo do programador):
s.split("(?<=[.!?]|[.!?][\'\"])\\s+");
Mas ainda temos as abreviaturas. O que fazer quando um ponto seguido de espaço não indica o final de uma frase, mas sim uma abreviatura (Sra. para Senhora, Sr. para Senhor, Dr. para Doutor, etc)?
A Sra. Pereira conheceu Geoge W. Bush.
Aí utilizamos um negative lookbehind do RegEx:
String pattern = "(?<=[.!?]|[.!?][\'\"])(?<!Sr\\.|Sra\\.|Dr\\.|Dra\\.|W\\.|)\\s+";
Note que o RegEx já começou a ficar complicado, e o ideal é colocar as abreviaturas em uma estrutura a parte para checá-las uma a uma. Podem surgir casos mais complexos (ex: U.K.) que precisam ser tratados.
Em resumo, você pode sofisticar bastante o seu código, mas considere que este é um problema de Processamento de Linguagem Natural, e ainda não há solução perfeita. Os melhores algoritmos alcançam de 90% a 99% de acurácia dependendo do texto.
Se precisar de uma solução mais robusta e precisa, sugiro pesquisar pelo Stanford NLP Parser que possui algoritmos em Java para isso.