1

Boa noite galera, preciso de ajuda. Estou fazendo pré-processamento de texto e para isso preciso remover de um livro em formato .txt todas as stopwords encontradas em um arquivo também de texto "stopwords_br.txt". Encontrei um programa creio eu que um pouco parecido com o que estou procurando. No entanto esta em C++ e eu não entendo os comandos.

Me ajudem se possível. Obrigada.

string line, deleteline;
ifstream stopword;
stopword.open("example.txt");
if (stopword.is_open())
{
    while ( getline (stopword,line) )
    {
        cout << line << endl;
    }
    stopword.close();
}    
else cout << "Unable to open file";

ofstream temp;
temp.open("temp.txt");

cout << "Please input the stop-word you want to delete..\n ";
cin >> deleteline;

while (getline(stopword,line))
{
    if (line != deleteline)
    {
        temp << line << endl;
    }
}
temp.close();
stopword.close();
remove("example.txt");
rename("temp.txt","example.txt");
cout <<endl<<endl<<endl;
system("pause");
return 0;

2 Respostas 2

1

Como é formato do arquivo "stopwords_br.txt"?

O código abaixo, baseado no que você passou, lê as informações do arquivo e remove a palavra. Salva as informações em um novo arquivo e remove o anterior.

    int main()
{
string line, stopword; ifstream text_file; text_file.open("c:\temp\exemplo.txt");

if(text_file.is_open()){ while(getline(text_file, line)){ cout << line << endl; } text_file.close(); }else cout << "Unable to open file"; cout << "\nPlease input the stop-word you want do delete." << endl; cin >> stopword; text_file.open("c:\\temp\\exemplo.txt"); ofstream temp; temp.open("c:\\temp\\temp.txt"); if(text_file.is_open()){ while(getline(text_file, line)){ int achou = 1; while(achou > 0){ int pos = line.find(stopword); if(pos >= 0){ line.erase(pos, stopword.length()); }else{ achou = pos; } } temp << line << endl; } } temp.close(); text_file.close(); remove("c:\\temp\\exemplo.txt"); rename("c:\\temp\\temp.txt", "c:\\temp\\exemplo.txt"); cout << endl << endl<< endl; system("pause"); return 0;

1
  • A ideia geral é boa mas (1) só trata uma stopword; (2) por exemplo sendo "a" uma stopword, não iria remover todos os "a" de todas as palavras do texto?
    – JJoao
    Commented 5/01/2017 às 15:58
0

Se estivermos em ambiente Linux, e se pudermos usar Sed e Perl propunha...

sed -rf <(perl -00nE 'say "s/\\<(",join("|",split),")\\>//g"' stopw.txt) l.txt

Exemplo:

$ cat stopwords 
a
de
que
para
em
é

$ cat livro 
a minha tia de Braga é que em breve me vem visitar.

$ sed -rf <(perl -00nE 'say "s/\\<(",join("|",split),")\\>//g"' stopwords) livro 
 minha tia  Braga    breve me vem visitar.

em que:

  • perl -00nE 'say "s/\\<(",join("|",split),")\\>//g"' stopwords, dá s/\<(a|de|que|para|em|é)\>//g, ou seja calcula uma substituição sed,
  • que é seguidamente aplicado ao livro (sed -rf prog livro).

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .