7

Tenho uma aplicação para a qual preciso importar dados pessoais. Recebo frequentemente ficheiros excel ou csv/txt com campos como nome, morada, email, telefone, etc... A formatação dos ficheiros varia, a ordem também, e às vezes há campos em branco. O que pode ajudar um algoritmo a perceber os campos é que em cada ficheiro que recebo com N entradas todas têm a mesma organização de colunas. O que varia é o formato de cada ficheiro, e não dentro de cada ficheiro.

Eu consigo fazer isto à mão, muitas vezes com algoritmos com RegExp mas que acabam por ter sempre uma componente grande de "custom made", ou seja preciso tratar os dados manualmente.

Como seria possível usar JavaScript e deep-learning para ensinar o programa a reconhecer os campos, formatá-los de maneira que possa consumir na minha aplicação e eventualmente indicar campos mal preenchidos tendo o programa certeza de que tipo de campo deveria ser?

Exemplo de input, onde cada linha é um exemplo de como as colunas podem ser num dado ficheiro:

// nome 1, nome 2, telefone, email, campos de morada
["joao", "pereira", "215548808", "[email protected]", "rua das peras", "2890", "campo alegre"]

// nome 1, nome 2, data de nascimento, email, codigo postal, morada, telefone
["maria", "conceição", "10051978", "[email protected]", "2400", "rua de porto alegre", "98337449"]

// nome completo, morada completa, mail pessoal, mail trabalho, telefone fixo, telemovel
["andreia pires", "rua do jardim nr10 3988 porto", "[email protected]", "[email protected]", "070234382", "013387484"]

E os campos que a minha aplicação usa são:

nome 1 | nome 2 | email | telefone | morada | codigo postal 
5
  • 2
    Oi Sérgio. Eu temo que esse seu problema seja um pouquinho difícil. Campos alpha numéricos, em uma coluna ou mais, talvez possam ser tratados com n-grams de forma a se obter a probabilidade de um conjunto de palavras formar um endereço (problema de categorização ou tagging). Mas vai ser bem difícil tratar os campos numéricos (telefone, data de nascimento sem /, código postal, etc). Eu tenho pouca experiência no processamento de linguagem, mas não enxergo variação estatística suficiente entre eles pra que se seja capaz de diferenciá-los. Commented 14/05/2017 às 22:12
  • 2
    Talvez seja mais fácil você usar um sistema especialista simples (um sistema baseado em regras): você cria um conjunto de regras IF-THEN que vão trabalhar em conjunto de forma a tentar gradualmente refinar o que é mais provável cada coluna ser (com base em medidas do conteúdo dos campos). O seu sistema faz uma pré-classificação e apresenta as colunas para o usuário com as sugestões automáticas, mas o usuário sempre decide como tratar as colunas. É importante o usuário decidir porque mesmo usando alguma tecnologia state-of-the-art o que vc vai obter são probabilidades, jamais certezas. Commented 14/05/2017 às 22:15
  • 1
    As medidas dos campos serão bastante individuais (número de caracteres, se tem alpha ou só dígitos, se tem a palavra "Rua", etc, etc, etc) e serão heurísticas que você como especialista do domínio vai criar. Aparentemente existem algumas engines de regras para Javascript. Vale dar uma olhada: stackoverflow.com/questions/3430885/… Boa sorte! :) Commented 14/05/2017 às 22:16
  • @LuizVieira obrigado pelas dicas! Apontaste-me caminhos e soluções que não tenho conhecimento para concluir sozinho, isso vai ajudar muito a pesquisa para este problema. Faz sentido usar n-grams, não sabia sequer o nome dessa linha de análise, esse video vai esclarecer. Dar pesos à strings, ou eventualmente tipos numéricos, é um dos caminhos que vou explorar. Obrigado! (Quanto a tags não sei se EN ou PT, talvez poste no meta sobre isso)
    – Sergio
    Commented 15/05/2017 às 5:16
  • 1
    Por nada, Sérgio. É até onde eu consigo ajudar com esse tipo de problema. Vamos esperar pra ver se alguém posta uma resposta mesmo. :) Quanto às tags eu não tenho uma opinião muito bem formada, mas tendo a achar que em inglês podem ser mais apropriadas. Deve ser mesmo melhor discutir isso no meta. Commented 15/05/2017 às 10:47

1 Resposta 1

4

Essa pergunta é legal, mas a resposta seria quase um projeto grande de trabalho. Com deep learning é possível resolver o seu problema. Com javascript, eu não sei responder. Vou dar uma resposta em R que é facilmente adaptável para python e depois indico algumas libs que talvez você consiga fazer com javascript.

Vamos lá.

Coleta de dados

Como em qualquer projeto de aprendizado de máquina você precisará de um banco de dados com algumas informações já classificadas. Felizmente, no seu caso deve ser simples de obter um banco grande sem muito esforço.

Aqui, fiz um catadão de informações:

  • peguei uma lista de nomes de aprovados na FUVEST de 2014 e separei em nome e sobrenome
  • peguei uma lista como nome de ruas em SP

Criei um banco de dados que fica da seguinte forma:

# A tibble: 10 × 2
        tipo                              valor
       <chr>                              <chr>
1        rua rua doutor heitor pereira carrilho
2        rua               rua hipólito vieites
3  sobrenome                     fogaca galdino
4       nome                             rafael
5        rua             rua ida câmara stefani
6  sobrenome                       alves duraes
7  sobrenome                       keiko sonoda
8  sobrenome             barcellos mano rinaldi
9       nome                             victor
10       rua                rua angelo catapano

No final esse banco de dados tem 60k observações divididas entre nome, sobrenome e rua. Você pode adicionar outros tipos de dados que você desejar como telefone, CEP e etc. Aqui não fiz isso para simplificar.

Tratamento dos dados

Da forma com que os dados estão, eles não estão adequados para serem consumidos por um modelo de deep-learning. Precisamos de um array que vamos chamar de X. Esse array tem que ter 3 dimensões: (n, maxlen, len_char_tab) em que:

  • n é o número de observações que você possui
  • maxlen é o número máximo de caracteres que uma observação pode ter
  • len_char_tab é o número de caracteres distintos em todo banco de dados

Ou seja, transformo cada sequencia do tipo "abc" em uma matriz de forma

1 0 0
0 1 0
0 0 1

Transformei um esse banco de dados nisso que eu preciso da seguinte forma:

library(purrr)
char_table <- stringr::str_split(df$valor, "") %>%
  unlist() %>% 
  unique()

vec <- map(
  df$valor, 
  ~unlist(str_split(.x, "")) %>%
    map_int(~which(.x == char_table))
)

maxlen <- max(map_int(vec, length))
vec <- pad_sequences(vec, maxlen = maxlen)
vec <- apply(vec, c(1, 2),function(x) as.integer(x == 0:64))
vec <- aperm(vec, c(2,3,1))

Aqui o meu objeto vec é o array x que eu estava discutindo e fica com as seguintes dimensões: 60023 58 65.

Precisamos também de uma matriz chamada de Y que terá a seguinte dimensão: (n, n_tipos). n é o tamanho da sua amostra e n_tipos é o número de tipos distintos. O conteúdo dessa matriz é 1 se a observação é do tipo i e 0 caso contrário.

Fiz isso dessa forma:

all_res <- unique(df$tipo)
res <- sapply(df$tipo, function(x) as.integer(x == all_res)) %>% t()

O objeto res é a matriz Y que comentei e tem dimensão: 60023, 3

Definição do modelo

Agora vamos usar o keras para definir uma LSTM. Não vou tentar explicar o que é uma LSTM porque é muito difícil e o Colah já explicou 100x melhor do que qualquer pessoa explicaria. Leia masi aqui

O código para definir o modelo está abaixo:

library(keras)
model <- keras_model_sequential()
model %>%
  layer_lstm(units = 128, input_shape = c(58, 65)) %>%
  layer_dense(3) %>%
  layer_activation("softmax")

model %>% compile(
  optimizer = "adam",
  loss = "categorical_crossentropy",
  metrics = "accuracy"
)

Treino do modelo

Treinar o modelo é a parte masi fácil:

model %>% fit(
  x = vec, y = res,
  validation_split = 0.1,
  shuffle = TRUE,
  batch_size = 32
)

Resultado:

Train on 54020 samples, validate on 6003 samples
Epoch 1/10
54020/54020 [==============================] - 372s - loss: 0.0966 - acc: 0.9707 - val_loss: 0.0070 - val_acc: 0.9992

Em uma só epoch o modelo conseguiu acertar praticamente todos as observações que deixei como validação. Claro que meu banco de dados é muito mais simples do que o seu, ele está bonitinho, e a maioria das ruas estão com "rua" na frente. O que ajuda bastante. Espere resultados piores do que isso, mas talvez não tão piores.

Uso

No seu caso, após treinar o modelo em um banco de dados, eu aplicaria as previsões em cada uma das colunas e veria qual é o resultado que masi aparece, se é nome, sobrenome ou endereço e marcaria que essa coluna é deste tipo.

Mas e o javascript?

Banco de dados

Deixei o banco de dados disponível aqui nesse link https://drive.google.com/open?id=0B9I1XHoC4uO6anJTbmJzelppeFE

Você pode ler no R usando df <- readRDS("df.rds").

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .