Estou trabalhando em um conjunto de entrevistas que obtive de um banco de dados no meu trabalho, cada um em um arquivo de texto separado (um arquivo normal com uma transcrição em várias linhas).
Cada entrevista fará parte de data frame como uma variável. Os metadados de cada entrevista estão em um data frame diferente. Tenho que importar os textos para ele (uma entrevista inteira por linha). São mais de 700 arquivos de texto a serem importados.
A questão é que existem muitas linhas repetidas nos arquivos originais das entrevistas e, devido ao número de arquivos, importar um por um e usar x <- unique (x)
está fora de questão. Eu escrevi o código abaixo para tentar importá-los:
files <- list.files(path="path/to/the/files", pattern="*.txt", full.names=TRUE)
folder <- "path/to/the/folder"
clean_text <- function(myfile){
n <- length(myfile)
myfile <- c(stringr::str_remove_all(myfile[-n], "[\n].*"),
myfile[n])
myfile <- unique(myfile)
myfile <- paste0(myfile, collapse = "\n")
myfile
}
texts <- ldply(clean_text(files), read_file)
Mas, em vez de ter com algo assim:
Tudo o que tenho é o caminho para meus arquivos
View(texts)
V1
path/to/my/files/file1 path/to/my/files/file2
Estou aberto a qualquer solução.
Atualização
Aqui está um fluxo de trabalho do que eu tenho sido incapaz de fazer:
- Ler 700 arquivos de texto de um diretório (esses são arquivos de texto sem formatação com linhas separadas por \n)
- Excluir as linhas repetidas
- Importa-los para R. Pode ser um vetor de uma coluna no qual cada texto é uma variável.
Atualização 2
Consegui evoluir até ter o texto em uma lista, onde cada um é um character:
str(teste)
List of 3
$ : chr [1:205] "Hello " ...
$ : chr [1:581] "hello little buns ...
$ : chr [1:849] "- Hello everybody," ...
Mas não consigo exportar cada um desses elementos da lista dentro de uma única célula de uma data frame. Já revirei o Google.
se alguém pudesse ajudar, ficaria grato.