Essa pergunta é legal, mas a resposta seria quase um projeto grande de trabalho. Com deep learning é possível resolver o seu problema. Com javascript
, eu não sei responder. Vou dar uma resposta em R
que é facilmente adaptável para python
e depois indico algumas libs que talvez você consiga fazer com javascript
.
Vamos lá.
Coleta de dados
Como em qualquer projeto de aprendizado de máquina você precisará de um banco de dados com algumas informações já classificadas. Felizmente, no seu caso deve ser simples de obter um banco grande sem muito esforço.
Aqui, fiz um catadão de informações:
- peguei uma lista de nomes de aprovados na FUVEST de 2014 e separei em nome e sobrenome
- peguei uma lista como nome de ruas em SP
Criei um banco de dados que fica da seguinte forma:
# A tibble: 10 × 2
tipo valor
<chr> <chr>
1 rua rua doutor heitor pereira carrilho
2 rua rua hipólito vieites
3 sobrenome fogaca galdino
4 nome rafael
5 rua rua ida câmara stefani
6 sobrenome alves duraes
7 sobrenome keiko sonoda
8 sobrenome barcellos mano rinaldi
9 nome victor
10 rua rua angelo catapano
No final esse banco de dados tem 60k observações divididas entre nome, sobrenome e rua. Você pode adicionar outros tipos de dados que você desejar como telefone, CEP e etc. Aqui não fiz isso para simplificar.
Tratamento dos dados
Da forma com que os dados estão, eles não estão adequados para serem consumidos por um modelo de deep-learning. Precisamos de um array que vamos chamar de X
. Esse array tem que ter 3 dimensões: (n, maxlen, len_char_tab) em que:
- n é o número de observações que você possui
- maxlen é o número máximo de caracteres que uma observação pode ter
- len_char_tab é o número de caracteres distintos em todo banco de dados
Ou seja, transformo cada sequencia do tipo "abc" em uma matriz
de forma
1 0 0
0 1 0
0 0 1
Transformei um esse banco de dados nisso que eu preciso da seguinte forma:
library(purrr)
char_table <- stringr::str_split(df$valor, "") %>%
unlist() %>%
unique()
vec <- map(
df$valor,
~unlist(str_split(.x, "")) %>%
map_int(~which(.x == char_table))
)
maxlen <- max(map_int(vec, length))
vec <- pad_sequences(vec, maxlen = maxlen)
vec <- apply(vec, c(1, 2),function(x) as.integer(x == 0:64))
vec <- aperm(vec, c(2,3,1))
Aqui o meu objeto vec
é o array x
que eu estava discutindo e fica com as seguintes dimensões: 60023 58 65
.
Precisamos também de uma matriz chamada de Y
que terá a seguinte dimensão: (n, n_tipos). n é o tamanho da sua amostra e n_tipos é o número de tipos distintos. O conteúdo dessa matriz é 1 se a observação é do tipo i e 0 caso contrário.
Fiz isso dessa forma:
all_res <- unique(df$tipo)
res <- sapply(df$tipo, function(x) as.integer(x == all_res)) %>% t()
O objeto res
é a matriz Y
que comentei e tem dimensão: 60023, 3
Definição do modelo
Agora vamos usar o keras
para definir uma LSTM.
Não vou tentar explicar o que é uma LSTM porque é muito difícil e o Colah já explicou 100x melhor do que qualquer pessoa explicaria. Leia masi aqui
O código para definir o modelo está abaixo:
library(keras)
model <- keras_model_sequential()
model %>%
layer_lstm(units = 128, input_shape = c(58, 65)) %>%
layer_dense(3) %>%
layer_activation("softmax")
model %>% compile(
optimizer = "adam",
loss = "categorical_crossentropy",
metrics = "accuracy"
)
Treino do modelo
Treinar o modelo é a parte masi fácil:
model %>% fit(
x = vec, y = res,
validation_split = 0.1,
shuffle = TRUE,
batch_size = 32
)
Resultado:
Train on 54020 samples, validate on 6003 samples
Epoch 1/10
54020/54020 [==============================] - 372s - loss: 0.0966 - acc: 0.9707 - val_loss: 0.0070 - val_acc: 0.9992
Em uma só epoch o modelo conseguiu acertar praticamente todos as observações que deixei como validação. Claro que meu banco de dados é muito mais simples do que o seu, ele está bonitinho, e a maioria das ruas estão com "rua" na frente. O que ajuda bastante. Espere resultados piores do que isso, mas talvez não tão piores.
Uso
No seu caso, após treinar o modelo em um banco de dados, eu aplicaria as previsões em cada uma das colunas e veria qual é o resultado que masi aparece, se é nome, sobrenome ou endereço e marcaria que essa coluna é deste tipo.
Mas e o javascript?
Banco de dados
Deixei o banco de dados disponível aqui nesse link https://drive.google.com/open?id=0B9I1XHoC4uO6anJTbmJzelppeFE
Você pode ler no R usando df <- readRDS("df.rds")
.
/
, código postal, etc). Eu tenho pouca experiência no processamento de linguagem, mas não enxergo variação estatística suficiente entre eles pra que se seja capaz de diferenciá-los.