1

Amigos preciso de uma ajuda na implementação do algoritmo abaixo que busca similaridades:

import nltk 
import pandas as pd

def get_bigrams(string):
    s = string.lower()
    return [s[i:i+2] for i in range(len(s) - 1)]

def string_similarity(str1, str2):
    pairs1 = get_bigrams(str1)
    pairs2 = get_bigrams(str2)
    union  = len(pairs1) + len(pairs2)
    hit_count = 0
    for x in pairs1:
        for y in pairs2:
            if x == y:
                hit_count += 1
                break
    return (2.0 * hit_count) / union

if __name__ == "__main__":
    w1 = 'COMERCIAL CASA DOS FRIOS - USAR LICINIO DIAS'
    words = ['ARES DOS ANDES - EXPORTACAO & IMPORTACAO LTDA', 'ADEGA DOS TRES IMPORTADORA', 'BODEGAS DE LOS ANDES COMERCIO DE VINHOS LTDA', 'ALL WINE IMPORTADORA']

    for w2 in words:
        print('Result --- ' + w2)
        print(string_similarity(w1, w2))

Quando eu rodo esse script com a comparações entre w1 e words, obtenho os percentuais de similaridade abaixo:

Result --- ARES DOS ANDES - EXPORTACAO & IMPORTACAO LTDA
0.2988505747126437
Result --- ADEGA DOS TRES IMPORTADORA
0.23529411764705882
Result --- BODEGAS DE LOS ANDES COMERCIO DE VINHOS LTDA
0.4883720930232558
Result --- ALL WINE IMPORTADORA
0.12903225806451613

Ocorre que estou obtendo 40% de similaridade na terceira comparação, onde os textos não tem quase similaridades para chegar a esse ponto.

Preciso das seguintes ajudas:

  1. Preciso que a função get_bigrams receba colunas de dois dataframes diferentes (dataframe1 e dataframe2) para comparar entre si (atualmente ela recebe strings)
  2. Preciso melhorar o nível de aceitação de similaridade. Talvez com NLTK removendo stopwords, espaços, acentos e etc, mas não sei bem como integrar isso tudo.
  3. Preciso colocar uma condicional de forma que ao obter um nível de 35 a 40% de similaridade, um valor correspondente de outra coluna (chamada marca) de um dos dataframes seja copiado para o outro.

    Ex: dataframe1 ababababababababa marca=vazio dataframe2 ababababababab marca= xxxxx

Se o exemplo acima for de mais de 35% de similaridade, então copie a marca de dataframe2 para marca de dataframe1. Isso para cada linha comparada.

OBS: Sou iniciante em python. Tenho estudado bastante.

1 Resposta 1

3

Quando você tenta buscar similaridade entre sentenças, não é uma boa ideia utilizar n_gramas da sentença inteira pois ele vai encontrar trechos muito parecidos e "achar" que as duas sentenças tem uma semelhança muito próxima.

No caso de similaridade entre sentenças o primeiro passo é a normalização dos dados:

Remover acentuação

Remover espaçamento a mais

Definir case único (caixa alta ou caixa baixa)

Remover stopwords (Opcional, as vezes a própria stopword ajuda muito a achar um padrão, mais nem sempre)

Abaixo fiz um código que calcula a similaridade do cosseno, não vou aprofundar muito conceitualmente. você pode encontrar mais detalhes sobre similaridade do cosseno no blog do stefansavev

Basicamente você precisa calcular o vetor de frequências das sentenças a após isto aplicar o cálculo de similaridade sobre estas frequências

A fim de comparação deixei uma variável chamada de use_text_bigram para mostrar o quanto o uso de n_gramas nas palavras pode ser prejudicial ao algoritmo. Outro ponto que esqueci de mencionar, o uso de n_gramas nos tokens (palavra por palavra) pode ser importante pois a relevância de uma palavra condicionada a outra pode ter um peso muito significante por exemplo São Paulo é bem diferente de Senhor Paulo utilizando 2 n_gramas para tokens, se você utilizar n_grama na sentença toda você terá ("sa", "ao", "o ", " p", "pa", "au", "ul", "lo") comparado a ("se", "en", "nh", "ho", "or", "r ", " p", "pa", "au", "ul", "lo"). Por fim essas duas sentenças terão uma similaridade baixa utilizando n_grama para tokens (em torno de 33%) e uma semelhana muito mais alta para n_grama na sentença inteiar (em torno de 48%)

Segue o código:

import nltk 
import re
import math

import pandas as pd

from collections import Counter
from unicodedata import normalize
from nltk import ngrams

#Regex para encontrar tokens
REGEX_WORD = re.compile(r'\w+')
#Numero de tokens em sequencia
N_GRAM_TOKEN = 3

#Faz a normalizacao do texto removendo espacos a mais e tirando acentos
def text_normalizer(src):
    return re.sub('\s+', ' ',
                normalize('NFKD', src)
                   .encode('ASCII','ignore')
                   .decode('ASCII')
           ).lower().strip()

#Faz o calculo de similaridade baseada no coseno
def cosine_similarity(vec1, vec2):
    intersection = set(vec1.keys()) & set(vec2.keys())
    numerator = sum([vec1[x] * vec2[x] for x in intersection])

    sum1 = sum([vec1[x]**2 for x in vec1.keys()])
    sum2 = sum([vec2[x]**2 for x in vec2.keys()])
    denominator = math.sqrt(sum1) * math.sqrt(sum2)

    if not denominator:
        return 0.0
    else:
        coef = float(numerator) / denominator
        if coef > 1:
            coef = 1
        return coef

#Monta o vetor de frequencia da sentenca
def sentence_to_vector(text, use_text_bigram):
    words = REGEX_WORD.findall(text)
    accumulator = []
    for n in range(1,N_GRAM_TOKEN):
        gramas = ngrams(words, n)
        for grama in gramas:
            accumulator.append(str(grama))

    if use_text_bigram:
        pairs = get_text_bigrams(text)
        for pair in pairs:
            accumulator.append(pair)

    return Counter(accumulator)

#Obtem a similaridade entre duas sentencas
def get_sentence_similarity(sentence1, sentence2, use_text_bigram=False):
    vector1 = sentence_to_vector(text_normalizer(sentence1), use_text_bigram)
    vector2 = sentence_to_vector(text_normalizer(sentence2), use_text_bigram)
    return cosine_similarity(vector1, vector2)

#Metodo de gerar bigramas de uma string
def get_text_bigrams(src):
    s = src.lower()
    return [s[i:i+2] for i in range(len(s) - 1)]

if __name__ == "__main__":
    w1 = 'COMERCIAL CASA DOS FRIOS - USAR LICINIO DIAS'
    words = [
        'ARES DOS ANDES - EXPORTACAO & IMPORTACAO LTDA', 
        'ADEGA DOS TRES IMPORTADORA', 
        'BODEGAS DE LOS ANDES COMERCIO DE VINHOS LTDA', 
        'ALL WINE IMPORTADORA'
    ]

    print('Busca: ' + w1)

    #Nivel de aceite (40%)
    cutoff = 0.40
    #Sentenças similares
    result = []

    for w2 in words:
        print('\nCosine Sentence --- ' + w2)

        #Calculo usando similaridade do coseno com apenas tokens
        similarity_sentence = get_sentence_similarity(w1, w2)
        print('\tSimilarity sentence: ' + str(similarity_sentence))

        #Calculo usando similaridade do coseno com tokens e com ngramas do texto
        similarity_sentence_text_bigram = get_sentence_similarity(w1, w2, use_text_bigram=True)
        print('\tSimilarity sentence: ' + str(similarity_sentence_text_bigram))

        if similarity_sentence >= cutoff:
            result.append((w2, similarity_sentence))

    print('\nResultado:')
    #Exibe resultados
    for data in result:
        print(data)

O resultado obtido foi o seguinte:

Busca: COMERCIAL CASA DOS FRIOS - USAR LICINIO DIAS

Cosine Sentence --- ARES DOS ANDES - EXPORTACAO & IMPORTACAO LTDA

    Similarity sentence: 0.08362420100070908

    Similarity sentence text bigram: 0.26518576139191

Cosine Sentence --- ADEGA DOS TRES IMPORTADORA

    Similarity sentence: 0.10482848367219183

    Similarity sentence text bigram: 0.223606797749979

Cosine Sentence --- BODEGAS DE LOS ANDES COMERCIO DE VINHOS LTDA

    Similarity sentence: 0.0

    Similarity sentence text bigram: 0.39317854974639244

Cosine Sentence --- ALL WINE IMPORTADORA

    Similarity sentence: 0.0

    Similarity sentence text bigram: 0.09245003270420486

Veja que utilizando o text bigram ele superestima demais o modelo achando que tem muita semelhança quando não tem, isto se explica porque vários bigramas (co, om, me, er, rc, ci, ia, al) se repetem bastante. Agora quando o modelo utiliza apenas tokens ele converge bem melhor falando que realmente não existe muita semelhança entre estes dados

Para utilizar o método que você já estava utilizando para calculo de similaridade (strike_match) você pode:

#Faz o calculo de similaridade baseada no strike match
def strike_match(vec1, vec2):
    pairs1 = vec1.keys()
    pairs2 = vec2.keys()
    union  = len(pairs1) + len(pairs2)
    hit_count = 0
    for x in pairs1:
        for y in pairs2:
            if x == y:
                hit_count += 1
                break
    return (2.0 * hit_count) / union

Ai no método get_sentence_similarity basta trocar a linha return cosine_similarity(vector1, vector2) para return strike_match(vector1, vector2)

Editando a resposta conforme as outras duvidas:

Para fazer estas trocas utilizando o dataFrame do pandas você pode utilizar a mesma estrutura já citada, porém a saida seria cria o seguinte método:

import numpy as np

def get_dataframe_similarity(comparer, finder, cutoff):
    print('cutoff= ' + str(cutoff))
    result = []
    comparer = np.array(comparer)
    for find in np.array(finder):
        max_coef = 0
        data = find
        for compare in comparer:
            similarity = get_sentence_similarity(find[0], compare[0])
            if similarity >= cutoff:
                if similarity > max_coef:
                    print('Trocando ' + data[1] + ' por ' + compare[1])
                    print(data[0] + ' ---- ' + compare[0] + ' - similaridade: ' + str(float( '%g' % ( similarity * 100 ) )) + '%')
                    data[1] = compare[1]
                    max_coef = similarity
        result.append(data)

    result = np.array(result)
    dataFrame = pd.DataFrame()
    dataFrame['texto'] = result[..., 0]
    dataFrame['marca'] = result[..., 1]
    return dataFrame

ele recebe um dataFrame de comparação e outro de busca, e retorna o dataFrame com as modificações de marca conforme o cutoff especificado.

Para utilizá-lo você pode fazer desta forma:

if __name__ == "__main__":
    cutoff = 0.4
    dataFrame1 = pd.DataFrame()
    dataFrame1['texto'] = ['COMERCIAL CASA DOS FRIOS - USAR LICINIO DIAS']
    dataFrame1['marca'] = ['xpto']

    dataFrame2 = pd.DataFrame()
    dataFrame2['texto'] = ['ARES DOS ANDES - EXPORTACAO & IMPORTACAO LTDA', 'ADEGA DOS TRES IMPORTADORA', 'BODEGAS DE LOS ANDES COMERCIO DE VINHOS LTDA', 'ALL WINE IMPORTADORA']
    dataFrame2['marca'] = ['marca1', 'marca2', 'marca3', 'marca4']

    dataResult = get_dataframe_similarity(comparer=dataFrame1, finder=dataFrame2, cutoff=cutoff)
    print(dataResult)
16
  • obrigado. Voce poderia me orientar sobre como resolver as outras questões que coloquei? grato pela ajuda!
    – Bene
    Commented 9/05/2017 às 20:32
  • Opa, claro, vou editar a resposta, mais a principio vc pode utilizar esta mesma estrutura da resposta
    – brow-joe
    Commented 10/05/2017 às 1:27
  • resposta editada
    – brow-joe
    Commented 10/05/2017 às 1:31
  • Cara vc quebrou um galho enorme, muito obrigado!!
    – Bene
    Commented 10/05/2017 às 1:52
  • Só mais uma pergunta: Reparei que pra testar o script com as modificações, vc esta passando cada string de comparação manualmente em dataFrame1 e dataFrame2. Como posso passar isso dinamicamente, de modo que a linha 1 do dataFrame1, se comparada com as linhas do dataFrame2 ate encontrar a similaridade exigida em cutoff?? Obrigado
    – Bene
    Commented 10/05/2017 às 3:55

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .