1

Estou trabalhando em um conjunto de entrevistas que obtive de um banco de dados no meu trabalho, cada um em um arquivo de texto separado (um arquivo normal com uma transcrição em várias linhas).

Cada entrevista fará parte de data frame como uma variável. Os metadados de cada entrevista estão em um data frame diferente. Tenho que importar os textos para ele (uma entrevista inteira por linha). São mais de 700 arquivos de texto a serem importados.

A questão é que existem muitas linhas repetidas nos arquivos originais das entrevistas e, devido ao número de arquivos, importar um por um e usar x <- unique (x) está fora de questão. Eu escrevi o código abaixo para tentar importá-los:

files <- list.files(path="path/to/the/files", pattern="*.txt", full.names=TRUE)
folder <- "path/to/the/folder"    
clean_text <- function(myfile){
  n <- length(myfile)
  myfile <- c(stringr::str_remove_all(myfile[-n], "[\n].*"),
              myfile[n])
  myfile <- unique(myfile)
  myfile <- paste0(myfile, collapse = "\n")
  myfile
}
texts <- ldply(clean_text(files),  read_file)

Mas, em vez de ter com algo assim: o resultado que estou esperando

Tudo o que tenho é o caminho para meus arquivos

View(texts)
V1
path/to/my/files/file1 path/to/my/files/file2

Estou aberto a qualquer solução.

Atualização

Aqui está um fluxo de trabalho do que eu tenho sido incapaz de fazer:

  1. Ler 700 arquivos de texto de um diretório (esses são arquivos de texto sem formatação com linhas separadas por \n)
  2. Excluir as linhas repetidas
  3. Importa-los para R. Pode ser um vetor de uma coluna no qual cada texto é uma variável.

Atualização 2

Consegui evoluir até ter o texto em uma lista, onde cada um é um character:

 str(teste)
List of 3
 $ : chr [1:205] "Hello " ...
 $ : chr [1:581] "hello little buns  ...
 $ : chr [1:849] "- Hello everybody," ...

Mas não consigo exportar cada um desses elementos da lista dentro de uma única célula de uma data frame. Já revirei o Google.

se alguém pudesse ajudar, ficaria grato.

8
  • 1
    Bem-vindo ao StackOverflow em Português! Infelizmente, esta pergunta não pode ser reproduzida por quem for tentar respondê-la. Por favor, dê uma olhada neste link e veja como fazer uma pergunta reproduzível em R. Assim, as pessoas que desejarem te ajudar conseguirão fazer isto da melhor maneira possível. Commented 24/01/2020 às 12:53
  • Olá, obrigado. mas eu não posso fazer upload dos dados pq eles pertencem a universidade em que trabalho, só posso usa-lo em citações de trabalho. Fora isso não tem muito mais que eu consiga mudar acima.
    – RodLL
    Commented 24/01/2020 às 13:08
  • Então talvez a melhor opção seja contratar um consultor em R e assinar um contrato NDA com ele. Acho muito difícil encontrar alguma solução gratuita na internet com tão pouca informação a respeito do teu problema. Afinal, sequer sabemos qual é a estrutura dos arquivos texto, como, por exemplo, de onde sai a informação de nome, idade, gênero e entrevista dos sujeitos. Commented 24/01/2020 às 13:12
  • Eu não preciso de nada disso, so preciso colocar os 700 textos sem linhas duplicadas em um data frame, no qual cada variável (linha) é um dos textos. Todo o resto eu já consigo fazer
    – RodLL
    Commented 24/01/2020 às 13:20
  • texto simples com linhas duplicatas -> célula da dataram (sem linha duplicada). V1 texto1 sem linhas duplicadas texto 2 sem linhas duplicas texto 3 sem linhas duplicas Um por um é fácil fazer, não acho solução para 700 textos de uma vez
    – RodLL
    Commented 24/01/2020 às 13:22

2 Respostas 2

1

Se percebi a pergunta (duvido que tenha) talvez o seguinte código consiga resolver o problema.
A função abaixo utiliza o comando unix/linux awk para remover as linhas de texto duplicadas. Os ficheiros limpos são escritos em ficheiros com o mesmo nome dos ficheiros de entrada mas com o prefixo pref = "out" nos seus nomes.

clean_text2 <- function(file, pref = "out"){
  out <- file.path(dirname(file), paste0(pref, basename(file)))
  args <- c("'!_[$0]++'", file, ">", out)
  system2("awk", args)
}

lapply(files, clean_text2)
3
  • Muito obrigado pela ajuda. Tentei rodar o código acima em um diretório com 3 arquivos (01.txt, 02.txt e 03.txt). Na seguinte sequência: files_captions <- dir(path="/path/to/texts", full.names=TRUE) folder_captions <- "/path/to/texts" lapply(files_captions, clean_text2) e recebi o seguinte erro: sh: out/path/to/texts/01.txt: No such file or directory sh: out/path/to/texts/02.txt: No such file or directory sh: out/path/to/texts/03.txt: No such file or directory alguma dica?
    – RodLL
    Commented 24/01/2020 às 17:55
  • @user12774787 Veja agora com a modificação. Commented 24/01/2020 às 20:22
  • Obrigado novamente. O output desta vez foi: > str(teste05) List of 50 $ : int 2 $ : int 2 $ : int 2
    – RodLL
    Commented 25/01/2020 às 8:33
1

Obrigado a todos. Aparentemente consegui resolver o problema com a seguinte função. Fiz um teste numa amostra de 10 arquivos e deu certo. Depois testo com todos e dou um feedback.

files <- list.files(path="path/to/you/files", pattern="*.txt", full.names=TRUE)
import.and.clean <- function(myfiles){
  tmp <- lapply(myfiles, read_lines)
  tmp2 <- purrr::map(tmp, unique)
  tmp3 <- purrr::map_chr(tmp2, paste0, collapse = "\n")
  return(tmp3)
}
my.vector <- import.and.clean(files)

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .