2

Hj em uma palestra da minha universidade eu vi um pacote q é chamado de Tidytext...entendi como ele funciona, so q nao consigo pensar em nenhuma utilidade dele.Alguem poderia me dar um exemplo d como tirariamos proveito dele em problemas do dia a dia? Obrigado!

2
  • 2
    Este link, disponibilizado pelos próprios criadores do pacote, dá uma ideia do que ele é capaz de fazer. Commented 23/05/2018 às 23:54
  • 1
    Bem-vindo ao StackOverflow em português, @GabrielOliveiraGuimarães. Aqui você pode encontrar algumas dicas sobre como melhorar suas próximas perguntas. Commented 24/05/2018 às 15:05

1 Resposta 1

6

O tidytext é um pacote que busca instrumentalizar análises de textos de um modo geral e, portanto, possui 1001 utilidades (e as mais importantes delas podem ser encontradas na vinheta princiapal do pacote, como apontado pelo @MacusNunes). Dentre algumas das possibilidades que existem na analise de texto que estão implantadas no tidytext eu destacaria:

  1. Freqüência dos termos
  2. Matriz termo-documento (tdm, inglês)
  3. Frequência dos termos - inverso da frequência nos documentos (tf-idf, inglês)
  4. Análise de sentimentos

Exemplo de utilidade - Frequência das palavras

Passo 1 - Pegar um texto qualquer para análise

# install.packages("devtools")
# devtools::install_github("tomasbarcellos/valorrr")

library(valorrr)
sessao <- html_session("http://www.valor.com.br/")
links <- links_pagina(sessao)
# Primeiras 20 notícias
noticias <- ler_noticia(sessao, links[1:20])

Agora já temos o texto das 20 primeiras notícias de agora do jornal Valor Econômico.

Passo 2 - Usar o tidytext para analisar os textos

library(tidytext)
library(dplyr)
library(stringr)

noticias_tidy <- noticias %>% 
  select(titulo, texto) %>% 
  unnest_tokens(word, texto)

stop_port <- get_stopwords(language = "pt")

noticias_tidy %>% 
  anti_join(stop_port) %>%
  count(word, sort = TRUE)

Joining, by = "word"
# A tibble: 2,069 x 2
   word              n
   <chr>         <int>
 1 r                55
 2 é                52
 3 bilhões          44
 4 governo          37
 5 caminhoneiros    28
 6 paulo            27
 7 ônibus           26
 8 diesel           24
 9 petrobras        24
10 presidente       23
# ... with 2,059 more rows

Sem ler nenhuma das notícias já podemos perceber que o jornal está hoje focado em matérias sobre a greve dos caminhoneiros e na política de combustíveis.

Observação: As palavras r e é aparecem porque não fizemos nenhuma limpeza nos dados para tornar este exemplo mais simples.

O uso de bigramas torna esta conclusão ainda mais obvia:

regex_stop <- paste0("\\b", stop_port$word, "\\b", collapse = "|")

noticias_bigram <- noticias %>% 
  select(titulo, texto) %>% 
  mutate(texto = str_remove_all(texto, regex_stop)) %>% 
  unnest_tokens(word, texto, "ngrams", n = 2)

noticias_bigram %>% count(word, sort = TRUE)

# A tibble: 4,365 x 2
   word                    n
   <chr>               <int>
 1 são paulo              26
 2 quinta feira           13
 3 pis cofins             10
 4 greve caminhoneiros     8
 5 preço diesel            8
 6 15 dias                 7
 7 desta quinta            7
 8 nesta quinta            7
 9 além disso              6
10 capital paulista        6
# ... with 4,355 more rows

Passo 3 - Escolha seu próximo objetivo

Uma vez que tenhamos um texto estruturado no formato tidy, o céu é o limite. Daqui poderíamos, por exemplo, criar matrizes de termo-documento que alimentariam um modelo de predição do autor do texto; ou visualizar o uso das palavras numa nuvem de palavras, etc.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .