Quando você tenta buscar similaridade entre sentenças, não é uma boa ideia utilizar n_gramas da sentença inteira pois ele vai encontrar trechos muito parecidos e "achar" que as duas sentenças tem uma semelhança muito próxima.
No caso de similaridade entre sentenças o primeiro passo é a normalização dos dados:
Remover acentuação
Remover espaçamento a mais
Definir case único (caixa alta ou caixa baixa)
Remover stopwords (Opcional, as vezes a própria stopword ajuda muito a achar um padrão, mais nem sempre)
Abaixo fiz um código que calcula a similaridade do cosseno, não vou aprofundar muito conceitualmente. você pode encontrar mais detalhes sobre similaridade do cosseno no blog do stefansavev
Basicamente você precisa calcular o vetor de frequências das sentenças a após isto aplicar o cálculo de similaridade sobre estas frequências
A fim de comparação deixei uma variável chamada de use_text_bigram
para mostrar o quanto o uso de n_gramas nas palavras pode ser prejudicial ao algoritmo. Outro ponto que esqueci de mencionar, o uso de n_gramas nos tokens (palavra por palavra) pode ser importante pois a relevância de uma palavra condicionada a outra pode ter um peso muito significante por exemplo São Paulo
é bem diferente de Senhor Paulo
utilizando 2 n_gramas para tokens, se você utilizar n_grama na sentença toda você terá ("sa", "ao", "o ", " p", "pa", "au", "ul", "lo") comparado a ("se", "en", "nh", "ho", "or", "r ", " p", "pa", "au", "ul", "lo"). Por fim essas duas sentenças terão uma similaridade baixa utilizando n_grama para tokens (em torno de 33%) e uma semelhana muito mais alta para n_grama na sentença inteiar (em torno de 48%)
Segue o código:
import nltk
import re
import math
import pandas as pd
from collections import Counter
from unicodedata import normalize
from nltk import ngrams
#Regex para encontrar tokens
REGEX_WORD = re.compile(r'\w+')
#Numero de tokens em sequencia
N_GRAM_TOKEN = 3
#Faz a normalizacao do texto removendo espacos a mais e tirando acentos
def text_normalizer(src):
return re.sub('\s+', ' ',
normalize('NFKD', src)
.encode('ASCII','ignore')
.decode('ASCII')
).lower().strip()
#Faz o calculo de similaridade baseada no coseno
def cosine_similarity(vec1, vec2):
intersection = set(vec1.keys()) & set(vec2.keys())
numerator = sum([vec1[x] * vec2[x] for x in intersection])
sum1 = sum([vec1[x]**2 for x in vec1.keys()])
sum2 = sum([vec2[x]**2 for x in vec2.keys()])
denominator = math.sqrt(sum1) * math.sqrt(sum2)
if not denominator:
return 0.0
else:
coef = float(numerator) / denominator
if coef > 1:
coef = 1
return coef
#Monta o vetor de frequencia da sentenca
def sentence_to_vector(text, use_text_bigram):
words = REGEX_WORD.findall(text)
accumulator = []
for n in range(1,N_GRAM_TOKEN):
gramas = ngrams(words, n)
for grama in gramas:
accumulator.append(str(grama))
if use_text_bigram:
pairs = get_text_bigrams(text)
for pair in pairs:
accumulator.append(pair)
return Counter(accumulator)
#Obtem a similaridade entre duas sentencas
def get_sentence_similarity(sentence1, sentence2, use_text_bigram=False):
vector1 = sentence_to_vector(text_normalizer(sentence1), use_text_bigram)
vector2 = sentence_to_vector(text_normalizer(sentence2), use_text_bigram)
return cosine_similarity(vector1, vector2)
#Metodo de gerar bigramas de uma string
def get_text_bigrams(src):
s = src.lower()
return [s[i:i+2] for i in range(len(s) - 1)]
if __name__ == "__main__":
w1 = 'COMERCIAL CASA DOS FRIOS - USAR LICINIO DIAS'
words = [
'ARES DOS ANDES - EXPORTACAO & IMPORTACAO LTDA',
'ADEGA DOS TRES IMPORTADORA',
'BODEGAS DE LOS ANDES COMERCIO DE VINHOS LTDA',
'ALL WINE IMPORTADORA'
]
print('Busca: ' + w1)
#Nivel de aceite (40%)
cutoff = 0.40
#Sentenças similares
result = []
for w2 in words:
print('\nCosine Sentence --- ' + w2)
#Calculo usando similaridade do coseno com apenas tokens
similarity_sentence = get_sentence_similarity(w1, w2)
print('\tSimilarity sentence: ' + str(similarity_sentence))
#Calculo usando similaridade do coseno com tokens e com ngramas do texto
similarity_sentence_text_bigram = get_sentence_similarity(w1, w2, use_text_bigram=True)
print('\tSimilarity sentence: ' + str(similarity_sentence_text_bigram))
if similarity_sentence >= cutoff:
result.append((w2, similarity_sentence))
print('\nResultado:')
#Exibe resultados
for data in result:
print(data)
O resultado obtido foi o seguinte:
Busca: COMERCIAL CASA DOS FRIOS - USAR LICINIO DIAS
Cosine Sentence --- ARES DOS ANDES - EXPORTACAO & IMPORTACAO LTDA
Similarity sentence: 0.08362420100070908
Similarity sentence text bigram: 0.26518576139191
Cosine Sentence --- ADEGA DOS TRES IMPORTADORA
Similarity sentence: 0.10482848367219183
Similarity sentence text bigram: 0.223606797749979
Cosine Sentence --- BODEGAS DE LOS ANDES COMERCIO DE VINHOS LTDA
Similarity sentence: 0.0
Similarity sentence text bigram: 0.39317854974639244
Cosine Sentence --- ALL WINE IMPORTADORA
Similarity sentence: 0.0
Similarity sentence text bigram: 0.09245003270420486
Veja que utilizando o text bigram
ele superestima demais o modelo achando que tem muita semelhança quando não tem, isto se explica porque vários bigramas (co, om, me, er, rc, ci, ia, al) se repetem bastante. Agora quando o modelo utiliza apenas tokens ele converge bem melhor falando que realmente não existe muita semelhança entre estes dados
Para utilizar o método que você já estava utilizando para calculo de similaridade (strike_match) você pode:
#Faz o calculo de similaridade baseada no strike match
def strike_match(vec1, vec2):
pairs1 = vec1.keys()
pairs2 = vec2.keys()
union = len(pairs1) + len(pairs2)
hit_count = 0
for x in pairs1:
for y in pairs2:
if x == y:
hit_count += 1
break
return (2.0 * hit_count) / union
Ai no método get_sentence_similarity
basta trocar a linha return cosine_similarity(vector1, vector2)
para return strike_match(vector1, vector2)
Editando a resposta conforme as outras duvidas:
Para fazer estas trocas utilizando o dataFrame do pandas você pode utilizar a mesma estrutura já citada, porém a saida seria cria o seguinte método:
import numpy as np
def get_dataframe_similarity(comparer, finder, cutoff):
print('cutoff= ' + str(cutoff))
result = []
comparer = np.array(comparer)
for find in np.array(finder):
max_coef = 0
data = find
for compare in comparer:
similarity = get_sentence_similarity(find[0], compare[0])
if similarity >= cutoff:
if similarity > max_coef:
print('Trocando ' + data[1] + ' por ' + compare[1])
print(data[0] + ' ---- ' + compare[0] + ' - similaridade: ' + str(float( '%g' % ( similarity * 100 ) )) + '%')
data[1] = compare[1]
max_coef = similarity
result.append(data)
result = np.array(result)
dataFrame = pd.DataFrame()
dataFrame['texto'] = result[..., 0]
dataFrame['marca'] = result[..., 1]
return dataFrame
ele recebe um dataFrame de comparação e outro de busca, e retorna o dataFrame com as modificações de marca conforme o cutoff especificado.
Para utilizá-lo você pode fazer desta forma:
if __name__ == "__main__":
cutoff = 0.4
dataFrame1 = pd.DataFrame()
dataFrame1['texto'] = ['COMERCIAL CASA DOS FRIOS - USAR LICINIO DIAS']
dataFrame1['marca'] = ['xpto']
dataFrame2 = pd.DataFrame()
dataFrame2['texto'] = ['ARES DOS ANDES - EXPORTACAO & IMPORTACAO LTDA', 'ADEGA DOS TRES IMPORTADORA', 'BODEGAS DE LOS ANDES COMERCIO DE VINHOS LTDA', 'ALL WINE IMPORTADORA']
dataFrame2['marca'] = ['marca1', 'marca2', 'marca3', 'marca4']
dataResult = get_dataframe_similarity(comparer=dataFrame1, finder=dataFrame2, cutoff=cutoff)
print(dataResult)