0
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
from string import punctuation
import csv


 texto = open('arquivo_sujo.csv','r').read()

 with open('arquivo_limpo.csv', 'w') as csvfile:
    palavras = word_tokenize(texto.lower())

    stopwords = set(stopwords.words('portuguese') + list(punctuation))
    palavras_sem_stopwords = [palavra for palavra in palavras if palavra not in stopwords]


    escrita = csv.writer(csvfile, delimiter=' ')
    escrita.writerows(palavras_sem_stopwords)

Com a correção de writerow para writerows resolveu o problema.
Mas como faço para o novo arquivo ficar com com mesmo formato? Cada linha está com uma palavra em vez da frase completa.

7
  • Já tentou mudar writerow para writerows?
    – Woss
    Commented 15/06/2018 às 22:31
  • Resolveu,obrigada!Mas estou com outro problema agora.
    – N.Peterson
    Commented 15/06/2018 às 22:37
  • O arquivo antigo tem a seguinte frase na primeira linha: Desenvolver e trabalhar. O novo arquivo fica assim: Desenvolver linhavazia trabalhar
    – N.Peterson
    Commented 15/06/2018 às 22:39
  • E você quer como?
    – Woss
    Commented 15/06/2018 às 22:45
  • Cada linha com uma frase
    – N.Peterson
    Commented 15/06/2018 às 22:47

1 Resposta 1

0

Acredito que o problema principal seja que você está lendo e analisando o conteúdo inteiro do arquivo, sendo que você quer frase por frase. Então, para resolver, você deverá ler cada linha do arquivo de entrada separadamente:

stopwords = set(stopwords.words('portuguese') + list(punctuation))

with open('arquivo_sujo.csv') as stream_input, open('arquivo_limpo.csv', 'w') as stream_output:
    for phrase in stream_input:
        words = word_tokenize(phrase.lower())
        without_stopwords = [word for word in words if word not in stopwords]
        stream_output.write(' '.join(without_stopwords) + '\n')

Neste caso, cada linha do arquivo de entrada será processada separadamente e gravada no arquivo de saída sem as stopwords. Como a formatação de escrita é simples, não vejo necessidade de utilizar o módulo csv, o join já resolve bem o problema.

1
  • Ainda não tinha me atentado ao join,super resolveu aq,obrigada!
    – N.Peterson
    Commented 15/06/2018 às 23:05

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .