14

Digamos eu desenvolva uma aplicação que permita a criação de registros arbitrários (não importa o assunto). No entanto, por alguma razão, decido bloquear a utilização da palavra batata no título do registro.

No entanto, o usuário pode, ao invés de utilizar batata, colocar bat@t@. Desse jeito, assumindo que o bloqueio seja implementado levianamente, como através de simples comparação de igualdade, nenhum erro ocorrerá — isto é, o bloqueio terá sido evitado. O usuário terá criado um registro (com a ideia de palavra que bloqueei, mas não exatamente igual à string que bloqueei).

Uma outra opção seria utilizar o caractere ZERO WIDTH SPACE (U+200B) entre qualquer caractere da palavra, de modo a também burlar uma comparação leviana.

const batata = 'batata';
const fakeBatata = 'bat' + '\u200B' + 'ata';

console.log(batata, fakeBatata); // Parecem iguais.
console.log(batata === fakeBatata); // Mas são diferentes.

Em relação ao caractere ZERO WIDTH SPACE (U+200B), a solução que penso é relativamente simples, mas não ideal para todos os cenários. Bastaria bloquear qualquer utilização desse tipo de caractere (através de um blacklist, por exemplo). No entanto, não poderia bloquear um @, por exemplo, já que pode ser útil em alguns títulos.

Eu realmente não consigo pensar em um bom jeito de resolver esse problema. Também não sei o nome "formal" do problema e nem do hipotético algoritmo que amenize o problema.

É sequer possível resolver isso de forma eficiente? Se sim, como funcionaria o algoritmo?


Não faço questão de um algoritmo implementado, mas sim de uma orientação. No entanto, além da descrição acima, uma implementação (simples, se for um problema muito complexo) em alguma linguagem como JavaScript ou Python seria de ajuda também. :)

11
  • 4
    Em PHP por exemplo já tem duas implementações de teste de similaridade php.net/levenshtein e php.net/manual/en/function.similar-text.php, mas mesmo com certos algoritimos algumas palavras tem que ser tratadas antes de avaliar.
    – Syzoth
    Commented 28/12/2020 às 0:57
  • 5
    Se a aplicação aceita um ZWS já me parece bug, pra começo de conversa. O set de caracteres teoricamente deveria ser restrito à natureza de um campo. Em línguas orientais é um pouco mais complicado, mas em ocidentais, não tem sentido aceitar sequer caracteres especiais comuns (um nome próprio no Brasil é a-z espaços e algumas letras acentuadas só, por exemplo. nem numerais pode. empresas podem ter o & e numerais, "-" e não muito mais que isso. O buraco é bem mais embaixo do que a pergunta está abrangendo. Bibliotecas como a ICU tem soluções prontas para isso, assim como Iconv.
    – Largato
    Commented 28/12/2020 às 1:39
  • 1
    Só não coloco como resposta pois tem um monte de furos: let batata = 'Datilografia'; let fakeBatata = 'Ⓓati' + '\u200B' + 'lografia'; b = batata.replace(/\p{C}/ugi,''); fB = fakeBatata.replace(/\p{C}/ugi,''); console.log(b, fB); console.log(b.normalize('NFKC') == fB.normalize('NFKC')); Commented 28/12/2020 às 1:40
  • 4
    Aliás, ao contrário do que os acólitos pregam, usar iso-8859-1, win-1252 (ou um subset destes, quase iguais) para software ocidental praticamente só traz vantagens (tem que conhecer o caso real, é óbvio - não tem bala de prata, nem solução universal). Aliás, DBs como MySQL/MariaDB permitem até que você especifique charsets diferentes em cada coluna, bem versátil para quem sabe o que está fazendo (que infelizmente, em termos de codificação de caracteres é uma minoria - para muitos, é praticamente um tabu esse assunto, por falta de ser dada a devida importância em fontes de aprendizado)
    – Largato
    Commented 28/12/2020 às 1:41
  • 4
    Curiosamente: meta.stackexchange.com/q/359283/401803
    – hkotsubo
    Commented 6/02/2021 às 12:22

3 Respostas 3

1

Não é uma solução definitiva pois acredito que se tratando de Unicode essa solução não exista.

É possível restringir até certo grau as possibilidades do usuário de inserir combinações de caracteres para burlar restrições de palavras. Mas não o impedir totalmente, a mente humana é fértil quando se trata de burlar limites.

Nesse raciocínio imaginei o seguinte:

  • Uma lista de palavras restritas e suas versões espelhadas.
  • Pesquisar o banco de dados de caracteres Unicode em busca dos caracteres homógrafos aos caracteres ASCII de [A-Z] incluindo @.
  • Em uma entrada fornecida pelo usuário mapear os caracteres homógrafos para seus correspondentes ASCII.
  • Passar a entrada mapeada e normalizada por um software de comparação aproximada para encontrar possíveis correspondências na lista de palavras restritas.

O algoritmo implementando esse exercício de pensamento foi realizado em python apoiado sobre os relatórios técnicos Unicode.


import unicodedata
import string
import difflib

#Essa função retorna uma lista de caracteres homógrafos a letter.
def homografos(letter):
    d = []                                                     #Inicializa a lista que receberá os caracteres homógrafos a letter. 
    #Hack para inserir o caractere @ caso solicitado no DB Unicode suas variantes estão discriminado como COMMERCIAL.
    if letter == "@":                                 
        letter = "COMMERCIAL"
    #Para todos os code points no DB Unicode...
    for i in range(0x10FFFF):
        l = chr(i)                                            #...obtem o caractere correspondente ao code point i.
        #...se letter estiver contido na descrição textual do code point em questão...
        if letter in unicodedata.name(l ,"None").split(" "):
            d.append(l)                                       #...adiciona o caractere correspondente ao code point i a lista de homógrafos a letter.
    return d                                                  #Retorna a lista de homógrafos a letter.

#Essa função faz a transliteração entre caracteres homógrafos
def transhomografos(letters):
    d={}                                              #Inicializa o dicionário de transliteração. O formato é mesmo usado por static str.maketrans(x[, y[, z]])
    print("Criando tabela de transliteração...")      #Para diminuir a ansiedade da espera.
    #Para cada caractere em letters...
    for c in letters:
        #...para cada caractere homográfo a c...
        for h in homografos(c):
            d[ord(h)] = ord('A' if c == "@" else c)   #...monta o dicionário de transliteração. Hack para traduzir @ para A.
        print(c)                                      #...para diminuir a ansiedade da espera.
    return d                                          #Retorna o dicionário de transliteração.
        
t = transhomografos(string.ascii_uppercase + '@')     #Cria em t o dicionário de transliteração de [A..Z@]incluindo @.

#Cria a lista de palavras restritas inclusive suas versões espelhadas.
restritas = []    
for p in ['batata', 'capim', 'feno']:
    restritas.append(p.upper())
    restritas.append(p.upper()[::-1])
    
while True:
   #Normaliza a entrada do usuário.
   p = unicodedata.normalize('NFKC',input("Digite uma palavra: "))
   #Se a entrada estiver vazia abandona o program.
   if not len(p):
       break
   p = p.translate(t)                                    #Traduz a entrada do usuário para seu equivalente ASCII.
   m = difflib.get_close_matches(p, restritas)           #Obtem a comparação aproximada entre a entrada tratada do usuário e a lista de palavras restritas.
   #Se a houver alguma semelhança exibe uma mensagem. 
   if len(m):
       print('Possivel palavra restrita encontrada',m)

Teste o exemplo no Repli.it.

Mais informações:

Qual a diferença entre code page, plane, code point, octet e outros termos sobre caracteres?

O que pode ser considerado um caractere?

1
  • 1
    Nossa, Augusto, não vi a sua resposta. Só reparei agora com a notificação do fim da recompensa... :( Como é a mais realista das respostas, eu provavelmente teria dado a recompensa. Uma pena ter desperdiçado. Commented 24/02/2021 às 0:11
0

Edit: alterei quase todo o comportamento da classe*

Gostei do desafio que isso traz e fiz uma classe que gera dinamicamente uma regra em regex com todas as possibilidades combinadas entre os itens da blacklist e cheats e, por fim, filtra todos os caracteres unicodes.

O motivo de preferir regex e não um "grau de similaridade", é por comparar "batata" com "barata"... Para resolver isso, seria necessário criar uma blacklist e whitelist ou diminuir a porcentagem de threshold, onde a complexidade poderia ser muito maior.

Com um regex dinâmico, adicionando batata na blacklist, a regra gerada é:

/(b.?|3.?|8.?)(a.?|@.?|4.?|á.?|à.?|â.?|ã.?|ª.?|^.?)(t.?|7.?)(a.?|@.?|4.?|á.?|à.?|â.?|ã.?|ª.?|^.?)(t.?|7.?)(a|@|4|á|à|â|ã|ª|^)/gim

Dá match: b\u200Bát@74, bbaattaattaa, b@t@t@, 347474, b a t a t a, b$a$t$a$t$a, etc.

Não dá match: barata, baratata, etc.

Sobre Unicode:

Após várias tentativas, todas falhas, criei uma regra, também usando regex, para filtrar todo caractere Unicode ou que não respeite a regra de um caractere "comum" (ß, 𝒷𝒶𝓉𝒶𝓉𝒶, ɐʇɐʇɐ).

  • A função .normalize('NFKC') consegue transcodificar alguns caracteres unicode, mas infelizmente, muita coisa passa batido.

Como usar:

const blacklist = new Blacklist(_sua_blacklist_);
blacklist.validate('_string_a_ser_validada_');

Como funciona:

  • Ao criar a classe, basta incluir sua blacklist (array) no construtor, com isso, serão geradas todas as regras em regex e guardadas na memória.
  • Chamando a função .validate(), basta passar a string a ser validada. O retorno da função será, em caso de match, um objeto com as propriedades matchs e Unicodes:
 {
  matchs: [
    'batata',
    'bbaattaatta',
    'b@t@t@'
    '347474',
    'b a t a t a',
    'b$a$t$a$t$a'
  ],
  unicodes: [ '𝒷𝒶𝓉𝒶𝓉𝒶', 'ɐʇɐʇɐ', 'ß' ]
}

Ou no caso de não ter nenhuma ocorrência (nem matchs, nem unicodes): true

É possível adicionar desde palavras isoladas até expressões completas na blacklist, por exemplo, você permite batata e purê separadamente, mas se a pessoa inserir purê de batata, você quer bloquear.

A ideia ao retornar um objeto com todos os valores inválidos separados por "comuns" e "unicodes", é que para quem utilizar, poderá fazer seu próprio tratamento especifíco para cada situação. Seja um replace(x, y), ou um alerta ao usuário devolvendo todas as palavras e caracteres inválidos.

A classe está pronta para ser utilizada, mas está bem comentada para auxiliar quem queira adaptar. Também deixei o código bem mais simples que antes e, ao fim do script, coloquei alguns exemplos na prática:

class Blacklist {

   constructor(blacklist) {

      const cheats = {

         "a": [ "@", "4", "á", "à", "â", "ã", "ª", "^" ],
         "b": [ "3", "8" ],
         "c": [ "ç", "\\(", "\\[", "\\{", "<" ],
         "d": [ ],
         "e": [ "3", "é", "ê", "&" ],
         "f": [ ],
         "g": [ "6" ],
         "h": [ ],
         "i": [ "1", "!", "í", "l" ],
         "j": [ ],
         "k": [ ],
         "l": [ "1", "!", "í", "i" ],
         "m": [ "ññ", "nn" ],
         "n": [ "ñ" ],
         "o": [ "0", "ó", "ô", "õ", "º", "\\(\\)" ],
         "p": [ ],
         "q": [ ],
         "r": [ ],
         "s": [ "5", "\\$", "z" ],
         "t": [ "7" ],
         "u": [ "ú", "v", "w" ],
         "v": [ "u", "ú" ],
         "w": [ ],
         "x": [ ],
         "y": [ "i", "l" ],
         "z": [ "2", "s" ]
      };

      /* -- CODE -- */
      try {

         // valida a blacklist enviada
         if (!Array.isArray(blacklist)) throw('A blacklist precisa ser um array');

         // captura tudo que for unicode
         const getUnicode = /(((?!\s)(?=([^a-z0-9~!@#$%^&*()_+`'"=:{}[%?|;,./<>ªºáãàâéêíóõôºúüçñ\]\\\-\s]))).?(?=[^\x2A\x30-\x39\x41-\x5A\x61-\x7A])*)+/gim;
         // guarda os regex gerados com o conteúdo da blacklist
         const blacklistRegex = [];

         if (blacklist.length > 0) {

            // tratar itens da blacklist
            blacklist.map((item, id) => blacklist[id] = item.normalize('NFD').replace(/[\s\u0300-\u036f]/gim, '').toLowerCase());

            // percorre todos os itens da blacklist e cria um regex para cada um
            blacklist.forEach(item => {

               // "explode" cada caractere para um array
               const item_split = item.split('');
               
               // prepara variáveis para o loop
               let count = 0;
               let item_regex = '';
         
               // percorre cada caractere e cria um regex para cada combinação do objeto "cheat" no caractere relacionado
               item_split.forEach(character => {
         
                  count++;
                  const currentCheat = cheats[character];
                  
                  if (currentCheat) {

                     const item_length = item_split.length;
                     const cheat_length = currentCheat.length;

                     const regex_character = currentCheat.toString().split(',').join('.?|');
                     const regex_last_character = currentCheat.toString().split(',').join('|');

                     const cheatMid = cheat_length > 0 ? `|${regex_character}.?` : '';
                     const cheatLast = cheat_length > 0 ? `|${regex_last_character}` : '';

                     item_regex += count < item_length ? `(${character}.?${cheatMid})` : `(${character}${cheatLast})`;
                  }
               });
         
               // guarda na memória o regex final gerado pelo loop
               blacklistRegex.push(RegExp(item_regex, 'gim'));
            });
         }

         this.validate = text => {

            try {

               // valida os parâmetros
               if (typeof text !== 'string' || text?.trim().length === 0) throw('O conteúdo a ser validado precisa ser do tipo string');
               if (blacklist.length === 0) return true;
               
               // normalizar dígitos (como "\u0061" de volta para "a")
               text = text.normalize('NFC');
               // remover espaços duplicados
               text = text.replace(/\s/gim, ' ');
               
               // guarda, caso ocorra, os "matchs" com os itens da blacklist
               const invalids = [];
               // guarda, caso ocorra, os caracteres unicodes
               const unicodes = text.match(getUnicode) || [];
            
               // verifica ocorrências para cada regex gerado
               blacklistRegex.forEach(regex => {
            
                  // cria um array com as ocorrências, caso houver
                  const words = text.match(regex);
            
                  if (words?.length > 0) Object.assign(invalids, words);
               });
               
               return invalids?.length > 0 || unicodes?.length > 0 ? { matchs: invalids, unicodes: unicodes } : true;
            }
            catch(error) {

               console.error(error);
            }
         };
      }
      catch(error) {

         console.error(error);
      }
   }
}


/***********\
|  TESTING  |
\***********/

const myBlacklist = [ 'batata' ];
const blacklist = new Blacklist(myBlacklist);

const invalid = blacklist.validate( 'b\u200Bát@74 | bátátá | b$at$a$t$a | 347474 | 𝒷𝒶𝓉𝒶𝓉𝒶 | ɐʇɐʇɐq | b a t a t a | b-a-t-a-t-a | ß @ 7 @ 7 @ | bbaattaattaa' );
const valid = blacklist.validate( 'Nada a ser encontrado por aqui' );

console.log('FALSO: \n', invalid);
console.log('VERDADEIRO: \n', valid);

Espero que ajude e, indiretamente, obrigado pela ideia.

8
  • 1
    Nenhum código detector de palavras rasuradas funciona com Unicode. Se eu escrever 𝒷𝒶𝓉𝒶𝓉𝒶 todos falham. Se quiser tentar eu escrevi esse teste que faz a comparação fuzzy é o que funciona melhorzinho, mas tem muitos furos. Commented 22/02/2021 às 13:56
  • 2
    Legal mas são 65535 formas de escrever ɐʇɐʇɐq com Unicode. Commented 22/02/2021 às 15:06
  • 3
    Uma amostra de b̶̨̪͍̥̗̬̈́̌̓̐̾̄̐̃̂̀̉̚͠ą̴̘̮͕͙̰̬͕͉̘͖̠̇̓̍͗͂͑̈̆̊̽̆̈̋̆͒̋͆̕̕̚͠͝ţ̵̡̦̜̳̝̹͎̮̬͔̰̻̤̩͔̥̯̠̯̩̻̩̃̉̉͌͜a̵̡̡̛͖͇̪̤͂̈́͛͗̂̎̈́̒̈́̑̔̈̀̄͛͂̄̃̔͐͌̈́̕̕͝͝ṫ̵̲̠̻͚̫̣͇̜͖͔̰̥̦̾͐̓͆̇̒͌̓̓́͐̃̇̐͗̉̓̃̔̋̕̕͜͝ͅa̴̩̟͇̲͉̙͈̙͊̒̿͑̇͆̽̓͋̈̊̃̍̃̂̐̉̿͌̑̔͐̕͘͠ b̴̧͉͖̥̰̤̟̱͕̬͙͓̬̘̀͊̿̉̌̕ä̸̡͖̠̮̪̻̝̞̥̤́̀̍́͋͘͘t̷̢͖̜͇̜̰̬͕͌̒̽͋́̈́͛̚̚ä̸̮̼̫͍̯́̃̃̎͊͗t̸̲̤͚̘͗͑̉͘ả̸̡͇̺̟͇̭͕͛̔͑̀͗̅̇͘͠ b̵̭̲̲̋̇́̓͒̾̚̕ͅą̴̨̗̹͕̻̜̱͐̄̓̂̑̎̑͜t̴͕̲̤̗̩͈̼̖̻͌͐̉͗̾͋̾̓̆͆a̷̧̲̯̦̲̜͛̔̾͂̋̍t̷̢̩͛͂̊̂͌a̸̭̝͙̦̗̼͑̀̔̓̋̐͘ b̴̯̳͂a̵̢̝̝͑͊̆͊̐ț̴̞͐̊͌̌̃͜å̵̦̒t̸͉̟̮̂͆a̸̬̔́̐̎̅ b̶̪̃̀̈a̷͉̻͚̎t̴̝͇̱͛̔â̶̩̲t̸͔͊̔ã̶̝̩ b̶̻͍̍̚a̴̝̖̋̑ẗ̴͚͕å̵̳̈t̷̜̱́a̷̺̬̚ 𝔟𝔞𝔱𝔞𝔱𝔞 𝖇𝖆𝖙𝖆𝖙𝖆 乃ᗩ𝓽αţᗩ 𝓫𝓪𝓽𝓪𝓽𝓪 𝒷𝒶𝓉𝒶𝓉𝒶 𝕓𝕒𝕥𝕒𝕥𝕒 Commented 22/02/2021 às 21:21
  • 2
    batata ʙᴀᴛᴀᴛᴀ ɐʇɐʇɐq 🄱🄰🅃🄰🅃🄰 ɒƚɒƚɒd 🅱🅰🆃🅰🆃🅰 bₐₜₐₜₐ ᵇᵃᵗᵃᵗᵃ ⓑⓐⓣⓐⓣⓐ ๒คՇคՇค Ⴆαƚαƚα ɮǟȶǟȶǟ ᏰᏗᏖᏗᏖᏗ ცąɬąɬą ๖คtคtค 𝐛𝐚𝐭𝐚𝐭𝐚 𝘣𝘢𝘵𝘢𝘵𝘢 𝙗𝙖𝙩𝙖𝙩𝙖 𝚋𝚊𝚝𝚊𝚝𝚊 BΛƬΛƬΛ вαтαтα ßå†å†å ฿₳₮₳₮₳ 乃卂ㄒ卂ㄒ卂 乃ムイムイム【b】【a】【t】【a】【t】【a】『b』『a』『t』『a』『t』『a』≋b≋a≋t≋a≋t≋a≋ ░b░a░t░a░t░a░ [̲̅b][̲̅a][̲̅t][̲̅a][̲̅t][̲̅a] b҉a҉t҉a҉t҉a҉ ҍąէąէą ᗷᗩTᗩTᗩ ᗷᗩᖶᗩᖶᗩ b̶a̶t̶a̶t̶a̶ b̴a̴t̴a̴t̴a̴ b̷a̷t̷a̷t̷a̷ b̾a̾t̾a̾t̾a̾ b͎a͎t͎a͎t͎a͎ b͓̽a͓̽t͓̽a͓̽t͓̽a͓̽ Commented 22/02/2021 às 21:21
  • 1
    Eu acabei de ver, é que estou tentando lhe falar o problema é insolúvel. O objetivo desse código é criar algo tipo um bot family safety para o chats(facebook, tweeter, instagram, discord, twich, whatsapp,..), filtrando palavrões em conversas e usuários com apelidos obscenos mas permitir que palavras comuns possam ser usadas mesmo que rasuradas Commented 23/02/2021 às 1:44
-2

Eu começaria implementando distância Levenshtein para ver se resolve o problema (se é que eu entendi bem o que você pretende fazer).

Em Python por exemplo o NLTK tem muita coisa que pode te ajudar a fazer isso. Inclusive pronto já. Mas vc acha implementações de distância Levenshtein em qualquer linguagem. É simples.

com poucas linhas é possível fazer o cálculo da distância de duas palavras. Obviamente você precisa ter o dicionário das palavras que você pretende bloquear. Senão como o seu software vai "adivinhar" isso?

Então, basta considerar abaixo o array "palavras" como sendo um dicionário de palavras que vc deseja bloquear.

import nltk

proibido = "b@t@t@"
palavras = ['batata', 'bota', 'borracha', 'b@t@t@', 'outro']

for p in palavras:
    dist = nltk.edit_distance(proibido, p)
    print(p, dist)

Resultado do cálculo de distância:

batata 3
bota 4
borracha 7
b@t@t@ 0
outro 5
2
  • Por favor, quem "downvotar" explique o motivo nos comentários, pois para mim está muito claro que essa solução funciona pois já precisei fazer isso. A não ser que eu tenha entendido errado a pergunta.Mesma coisa com o novato ali o Luiz Felipe. (é chato receber um downvote) e não saber o motivo para poder melhorar.
    – Mateus
    Commented 22/02/2021 às 11:23
  • 1
    Nenhum código detector de palavras rasuradas funciona com Unicode. Se eu escrever 𝒷𝒶𝓉𝒶𝓉𝒶 todos falham. Se quiser tentar eu escrevi esse teste que faz a comparação fuzzy é o que funciona melhorzinho, mas tem muitos furos. PS: Nem votei pois eu acho essa questão insolúvel. Commented 22/02/2021 às 13:57

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .