Sua string de entrada é um JSON, então é melhor usar as ferramentas corretas para manipular estes dados. Você pode usar o módulo json
e em seguida manipular a URL com urllib.parse
:
# -*- coding: utf-8 -*-
import re
import json
import urllib.parse
dados = '[{"Id":12345,"Date":"2018-11-03T00:00:00","Quality":"Goodão","Name":"X","Description":null,"Url":"x.com.br/qweqwe","ParseUrl":"x-art","Status":"Ativa","Surveys":0,"KeySearch":"x Art","QualityId":3,"Type":"Tecnology"},{"Id":12346,"Date":"2018-11-03T00:00:00","Quality":"Good","Name":"YYy","Description":"Lorem Ipsum has been the industrys standard dummy text ever since the 1500s, when an unknown printer took a galley of type and scrambled it to make a type specimen book.","Url":"https://www.y.com.br/sdfsfs","ParseUrl":"y beautiful","Status":"Ativa","Surveys":0,"KeySearch":"y like","QualityId":3,"Type":"Tecnology"},{"Id":12347,"Date":"2018-11-03T00:00:00","Quçality":"Pending","Name":"z Z","Description":"Richard McClintock, a Latin professor at Hampden-Sydney College in Virginia, looked up one of the more obscure Latin words, consectetur","Url":"http://www.z.com.br/asdasdas","ParseUrl":null,"Status":"Ativa","Surveys":112,"KeySearch":"z plant","QualityId":4,"Type":"Agro"},{"Id":12335,"Date":"2018-11-03T00:00:00","Quality":"óéGood","Name":"J","Description":null,"Url":"www.j.com.br","ParseUrl":"x-art","Status":"Ativa","Surveys":0,"KeySearch":"x Art","QualityId":3,"Type":"Tecnology"},{"Id":12332,"Date":"2018-11-03T00:00:00","Quality":"óéGood","Name":"J","Description":null,"Url":"www.j.com.br/","ParseUrl":"x-art","Status":"Ativa","Surveys":0,"KeySearch":"x Art","QualityId":3,"Type":"Tecnology"}]'
# converter a string para JSON
jsondata = json.loads(dados)
# regex para verificar se a URL tem o protocolo
r = re.compile(r"^(https?|ftp)://")
# substituir somente o campo URL
for d in jsondata:
url = d['Url']
# se não tem o protocolo, adiciona qualquer um, apenas para o parsing ser feito corretamente
if not r.match(url):
url = "http://"+ url
d['Url'] = urllib.parse.urlparse(url).netloc
# converter JSON para string
dados = json.dumps(jsondata, ensure_ascii=False)
print(dados)
A saída é:
[{"Id": 12345, "Date": "2018-11-03T00:00:00", "Quality": "Goodão", "Name": "X", "Description": null, "Url": "x.com.br", "ParseUrl": "x-art", "Status": "Ativa", "Surveys": 0, "KeySearch": "x Art", "QualityId": 3, "Type": "Tecnology"}, {"Id": 12346, "Date": "2018-11-03T00:00:00", "Quality": "Good", "Name": "YYy", "Description": "Lorem Ipsum has been the industrys standard dummy text ever since the 1500s, when an unknown printer took a galley of type and scrambled it to make a type specimen book.", "Url": "www.y.com.br", "ParseUrl": "y beautiful", "Status": "Ativa", "Surveys": 0, "KeySearch": "y like", "QualityId": 3, "Type": "Tecnology"}, {"Id": 12347, "Date": "2018-11-03T00:00:00", "Quçality": "Pending", "Name": "z Z", "Description": "Richard McClintock, a Latin professor at Hampden-Sydney College in Virginia, looked up one of the more obscure Latin words, consectetur", "Url": "www.z.com.br", "ParseUrl": null, "Status": "Ativa", "Surveys": 112, "KeySearch": "z plant", "QualityId": 4, "Type": "Agro"}, {"Id": 12335, "Date": "2018-11-03T00:00:00", "Quality": "óéGood", "Name": "J", "Description": null, "Url": "www.j.com.br", "ParseUrl": "x-art", "Status": "Ativa", "Surveys": 0, "KeySearch": "x Art", "QualityId": 3, "Type": "Tecnology"}, {"Id": 12332, "Date": "2018-11-03T00:00:00", "Quality": "óéGood", "Name": "J", "Description": null, "Url": "www.j.com.br", "ParseUrl": "x-art", "Status": "Ativa", "Surveys": 0, "KeySearch": "x Art", "QualityId": 3, "Type": "Tecnology"}]
Repare que as chaves estão em ordem diferente da entrada, pois o JSON é definido como um unordered set of name/value pairs (um conjunto de pares chave/valor sem ordem). Por isso a ordem não é garantida.
Outros detalhes:
Eu usei uma regex (usando o módulo re
) para verificar se a URL não tem o protocolo (o http://
no início, por exemplo). Eu usei ^(https?|ftp)://
, que significa:
^
: início da string
https?
: o texto "http" ou "https" (o s?
indica que a letra "s" é opcional)
ftp
: o texto "ftp""
|
: significa ou. Então (https?|ftp)
quer dizer que o trecho pode ser http, https, ou ftp. Em seguida temos os caracteres ://
Adicione mais protocolos conforme necessário, todos separados por |
. Por exemplo: ^(https?|ftp|telnet|mailto)://
(para verificar http/https, ftp, telnet ou mailto).
Se a URL não corresponde a este padrão (ou seja, se não tem o protocolo), eu adiciono um protocolo qualquer para que o parsing seja feito (caso contrário urlparse
fica com o netloc
vazio). Como você não vai usar o protocolo para nada, tanto faz qual é colocado.
E para os caracteres especiais, você pode forçar o script a usar um encoding específico, como eu fiz na primeira linha (# -*- coding: utf-8 -*-
). E no método dumps
, passe o valor do parâmetro ensure_ascii
igual a False
- o default é True
, o que faz com que caracteres especiais não sejam exibidos corretamente.
Se quiser manter a mesma ordem
Mas se por acaso você precisa manter exatamente a mesma ordem das chaves, aí o jeito é usar regex mesmo. Um jeito é verificar o trecho "Url":"..."
e obter a URL que está aí. Em seguida, usamos urllib.parse
para substituir a URL pela parte que você precisa.
E eu também uso a mesma regex do exemplo anterior para verificar se a URL tem o protocolo, e adiciono "http://" caso não tenha.
# -*- coding: utf-8 -*-
import urllib.parse
import re
dados = '[{"Id":12345,"Date":"2018-11-03T00:00:00","Quality":"Goodão","Name":"X","Description":null,"Url":"x.com.br/qweqwe","ParseUrl":"x-art","Status":"Ativa","Surveys":0,"KeySearch":"x Art","QualityId":3,"Type":"Tecnology"},{"Id":12346,"Date":"2018-11-03T00:00:00","Quality":"Good","Name":"YYy","Description":"Lorem Ipsum has been the industrys standard dummy text ever since the 1500s, when an unknown printer took a galley of type and scrambled it to make a type specimen book.","Url":"https://www.y.com.br/sdfsfs","ParseUrl":"y beautiful","Status":"Ativa","Surveys":0,"KeySearch":"y like","QualityId":3,"Type":"Tecnology"},{"Id":12347,"Date":"2018-11-03T00:00:00","Quçality":"Pending","Name":"z Z","Description":"Richard McClintock, a Latin professor at Hampden-Sydney College in Virginia, looked up one of the more obscure Latin words, consectetur","Url":"http://www.z.com.br/asdasdas","ParseUrl":null,"Status":"Ativa","Surveys":112,"KeySearch":"z plant","QualityId":4,"Type":"Agro"},{"Id":12335,"Date":"2018-11-03T00:00:00","Quality":"óéGood","Name":"J","Description":null,"Url":"www.j.com.br","ParseUrl":"x-art","Status":"Ativa","Surveys":0,"KeySearch":"x Art","QualityId":3,"Type":"Tecnology"},{"Id":12332,"Date":"2018-11-03T00:00:00","Quality":"óéGood","Name":"J","Description":null,"Url":"www.j.com.br/","ParseUrl":"x-art","Status":"Ativa","Surveys":0,"KeySearch":"x Art","QualityId":3,"Type":"Tecnology"}]'
# regex para verificar se a URL tem o protocolo
r = re.compile(r"^(https?|ftp)://")
dados = re.sub(r'(?<="Url":")[^"]+(?=")', lambda m: urllib.parse.urlparse(m.group(0) if r.match(m.group(0)) else "http://" + m.group(0)).netloc, dados)
print(dados)
A saída é:
[{"Id":12345,"Date":"2018-11-03T00:00:00","Quality":"Goodão","Name":"X","Description":null,"Url":"x.com.br","ParseUrl":"x-art","Status":"Ativa","Surveys":0,"KeySearch":"x Art","QualityId":3,"Type":"Tecnology"},{"Id":12346,"Date":"2018-11-03T00:00:00","Quality":"Good","Name":"YYy","Description":"Lorem Ipsum has been the industrys standard dummy text ever since the 1500s, when an unknown printer took a galley of type and scrambled it to make a type specimen book.","Url":"www.y.com.br","ParseUrl":"y beautiful","Status":"Ativa","Surveys":0,"KeySearch":"y like","QualityId":3,"Type":"Tecnology"},{"Id":12347,"Date":"2018-11-03T00:00:00","Quçality":"Pending","Name":"z Z","Description":"Richard McClintock, a Latin professor at Hampden-Sydney College in Virginia, looked up one of the more obscure Latin words, consectetur","Url":"www.z.com.br","ParseUrl":null,"Status":"Ativa","Surveys":112,"KeySearch":"z plant","QualityId":4,"Type":"Agro"},{"Id":12335,"Date":"2018-11-03T00:00:00","Quality":"óéGood","Name":"J","Description":null,"Url":"www.j.com.br","ParseUrl":"x-art","Status":"Ativa","Surveys":0,"KeySearch":"x Art","QualityId":3,"Type":"Tecnology"},{"Id":12332,"Date":"2018-11-03T00:00:00","Quality":"óéGood","Name":"J","Description":null,"Url":"www.j.com.br","ParseUrl":"x-art","Status":"Ativa","Surveys":0,"KeySearch":"x Art","QualityId":3,"Type":"Tecnology"}]
Vale lembrar que neste caso não estamos usando as ferramentas mais adequadas, pois a regex não quer saber se a string é realmente um JSON bem formado, ela apenas procura pelo trecho indicado e faz a substituição.
Uma breve explicação da regex:
(?<="Url":")
e (?=")
são, respectivamente, um lookbehind e um lookahead. Eles servem para verificar o que tem antes e depois de determinado trecho. Ou seja, eu quero um trecho da string que tenha "Url":"
antes e "
depois. Os parênteses e os caracteres ?
, <
e =
fazem parte da sintaxe da regex para definir este comportamento (além disso, eles não farão parte do match, que terá apenas o que está entre eles - no caso, a URL).
Entre o lookbehind e o lookahead temos [^"]+
, que significa uma ou mais ocorrências (+
) de qualquer coisa que não seja aspas ([^"]
) - os colchetes com ^
indicam que eu não quero os caracteres que estão ali dentro, e como só tem "
, então quer dizer que eu quero tudo que não tem aspas.
Ou seja, a regex significa: "Url":"
seguido de um ou mais caracteres que não sejam aspas, seguido de "
.
Depois eu uso um lambda para fazer a substituição. O parâmetro passado para o lambda é o match da regex (ou seja, o trecho que foi capturado). Em seguida eu uso urllib.parse
para obter o trecho que quero da URL.
Eu optei por usar urllib.parse
para manipular a URL por ser mais fácil (além de ser uma função dedicada para justamente tratar de URLs), pois como você pode ver pela resposta do @nosklo, uma regex para pegar trechos de URLs válidas é complicada demais para valer a pena. Por isso acabei usando uma expressão mais simples (peguei tudo que estava entre as aspas, e depois passei para urlparse
, que pode verificar mais facilmente se de fato é uma URL).
split
em dados e tratar as URLs uma a uma, e depois você junta de novo comjoin
. Mas para ter certeza, só vendo alguns exemplos mesmo...