Hj em uma palestra da minha universidade eu vi um pacote q é chamado de Tidytext...entendi como ele funciona, so q nao consigo pensar em nenhuma utilidade dele.Alguem poderia me dar um exemplo d como tirariamos proveito dele em problemas do dia a dia? Obrigado!
-
2Este link, disponibilizado pelos próprios criadores do pacote, dá uma ideia do que ele é capaz de fazer.– Marcus NunesCommented 23/05/2018 às 23:54
-
1Bem-vindo ao StackOverflow em português, @GabrielOliveiraGuimarães. Aqui você pode encontrar algumas dicas sobre como melhorar suas próximas perguntas.– Tomás BarcellosCommented 24/05/2018 às 15:05
1 Resposta
O tidytext
é um pacote que busca instrumentalizar análises de textos de um modo geral e, portanto, possui 1001 utilidades (e as mais importantes delas podem ser encontradas na vinheta princiapal do pacote, como apontado pelo @MacusNunes). Dentre algumas das possibilidades que existem na analise de texto que estão implantadas no tidytext
eu destacaria:
- Freqüência dos termos
- Matriz termo-documento (tdm, inglês)
- Frequência dos termos - inverso da frequência nos documentos (tf-idf, inglês)
- Análise de sentimentos
Exemplo de utilidade - Frequência das palavras
Passo 1 - Pegar um texto qualquer para análise
# install.packages("devtools")
# devtools::install_github("tomasbarcellos/valorrr")
library(valorrr)
sessao <- html_session("http://www.valor.com.br/")
links <- links_pagina(sessao)
# Primeiras 20 notícias
noticias <- ler_noticia(sessao, links[1:20])
Agora já temos o texto das 20 primeiras notícias de agora do jornal Valor Econômico.
Passo 2 - Usar o tidytext para analisar os textos
library(tidytext)
library(dplyr)
library(stringr)
noticias_tidy <- noticias %>%
select(titulo, texto) %>%
unnest_tokens(word, texto)
stop_port <- get_stopwords(language = "pt")
noticias_tidy %>%
anti_join(stop_port) %>%
count(word, sort = TRUE)
Joining, by = "word"
# A tibble: 2,069 x 2
word n
<chr> <int>
1 r 55
2 é 52
3 bilhões 44
4 governo 37
5 caminhoneiros 28
6 paulo 27
7 ônibus 26
8 diesel 24
9 petrobras 24
10 presidente 23
# ... with 2,059 more rows
Sem ler nenhuma das notícias já podemos perceber que o jornal está hoje focado em matérias sobre a greve dos caminhoneiros e na política de combustíveis.
Observação: As palavras
r
eé
aparecem porque não fizemos nenhuma limpeza nos dados para tornar este exemplo mais simples.
O uso de bigramas
torna esta conclusão ainda mais obvia:
regex_stop <- paste0("\\b", stop_port$word, "\\b", collapse = "|")
noticias_bigram <- noticias %>%
select(titulo, texto) %>%
mutate(texto = str_remove_all(texto, regex_stop)) %>%
unnest_tokens(word, texto, "ngrams", n = 2)
noticias_bigram %>% count(word, sort = TRUE)
# A tibble: 4,365 x 2
word n
<chr> <int>
1 são paulo 26
2 quinta feira 13
3 pis cofins 10
4 greve caminhoneiros 8
5 preço diesel 8
6 15 dias 7
7 desta quinta 7
8 nesta quinta 7
9 além disso 6
10 capital paulista 6
# ... with 4,355 more rows
Passo 3 - Escolha seu próximo objetivo
Uma vez que tenhamos um texto estruturado no formato tidy
, o céu é o limite. Daqui poderíamos, por exemplo, criar matrizes de termo-documento que alimentariam um modelo de predição do autor do texto; ou visualizar o uso das palavras numa nuvem de palavras, etc.