2

Quero comparar duas string, que são iguais, porém possuem codificação diferentes.

G%C3%A9rard Depardieu e Gérard Depardieu

Preciso realizar diversas comparações em duas lista, porém me deparei com isso. A lista A está cheia de nomes codificados na forma url(Pelo menos acho que é) e a segunda B está desta outra forma, mostrando os acentos e todos tipos de caracteres especiais. Porém não estou sabendo como codificar os caracteres com acento para a codificação do tipo url e realizar comparações.

name1 = 'G%C3%A9rard Depardieu'
name2 = ''
arq = open('gerard.txt', 'r', encoding='utf-8')
for a in arq:
    name2 = a.replace('\n', '')
print(name1==name2) #false

Além disso se printar o nome: print(name2) dá o seguinte erro:

Out[11]: ---------------------------------------------------------------------------
UnicodeEncodeError                        Traceback (most recent call last)
<ipython-input-11-e1187e69ab52> in <module>()
----> 1 name2

~/.virtualenv/crawler/lib/python3.5/site-packages/IPython/core/displayhook.py in __call__(self, result)
    259             self.fill_exec_result(result)
    260             if format_dict:
--> 261                 self.write_format_data(format_dict, md_dict)
    262                 self.log_output(format_dict)
    263             self.finish_displayhook()

~/.virtualenv/crawler/lib/python3.5/site-packages/IPython/core/displayhook.py in write_format_data(self, format_dict, md_dict)
    188                 result_repr = '\n' + result_repr
    189 
--> 190         print(result_repr)
    191 
    192     def update_user_ns(self, result):

UnicodeEncodeError: 'ascii' codec can't encode character '\xe9' in position 2: ordinal not in range(128)

Porém meu objetivo não é printar os nomes e sim apenas realizar comparações.

O arquivo gerard.txt possui apenas uma linha: Gérard Depardieu

2 Respostas 2

3

As strings não são "iguais" - se uma está com todos os caracteres não ASCII codificados com "%XX", ela tem que ser decodificada antes.

A biblioteca padrão tem a função urllib.parse.unquote que pode transformar caracteres codificados dessa forma em caracteres de texto. Tem mais uma coisa importante para notar aí: dá pra notar que como você tem dois bytes para representar um único caractere acentuado (e o primeiro ter código \xC3 é outra dica), além do escape em url-quote, essa string original estava codificada em utf-8. Utf-8 é a codificação padrão que o unquote do Python considera, portanto, só chamar essa função diretamente resolve:

In[202]: import urllib.parse

In [203]: name1 = 'G%C3%A9rard Depardieu'

In [204]: print(urllib.parse.unquote(name1))
Gérard Depardieu

Se por acaso, nos seus dados, você encontrar caractéres codificados como um único byte, isso pode significar que a codificação da string original estava em latin1. Nesse caso é só passar a codificação no parâmetro "encoding" da função unquote:

In [206]: urllib.parse.unquote("G%e9rard", encoding="latin1")
Out[206]: 'Gérard'

como fazer:

A melhor coisa que você faz é des-escapar essas strings assim que ler as mesmas para dentro do seu programa. Na pergunta você não diz se elas estãoi em um arquivo, se chegam num request Web, etc...mas se estivessem assim dentro de um arquivo - você poderia fazer assim:

from urllib.parse import unquote

with open("meu_arquivo.txt") as file:
    text = unquote(file.read())

lines = text.split("\n")
1

Você pode usar urllib.parse, você decodifica a url, então ao comparar com a string que esta no arquivo o retorno é verdadeiro.

import urllib.parse

name1 = urllib.parse.unquote('G%C3%A9rard Depardieu')
name2 = ''
arq = open('gerard.txt', 'r', encoding='utf-8')
for a in arq:
    print(a)
    name2 = a.replace('\n', '')
print(name1==name2) #true

Fonte

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .