3

Estava tentando fazer um código para pegar o url final de redirecionamento de alguns links, consegui fazer para a maioria dos links que precisava, entranto para este não consegui: https://redir.lomadee.com/v2/987163d4

TOdos os outros links funcionaram com urllib2 or requests.

    s = requests.Session()
    r = s.get(lili[i], headers=headers)
    if lili[i] != r.url:
        print i, r.url

ou

    response = urllib2.urlopen(lili[i])
    if lili[i] != response.geturl():
        print i, response.geturl()

Alguém sabe como resolver isto? Não gostaria de usar o Selenium para isso, não é viável (muito demorado).

0

1 Resposta 1

3

Curiosa esta estratégia neste tipo de serviços, é muito bem jogado para evitar precisamente o que queres fazer.

O que se passa é o seguinte. Parece, mas não é um redicionamento (codigo 301), ou seja, ao analizar o corpo da resposta consegui ver (por sorte) o que se passava:

setTimeout(location.href='https://www.walmart.com.br/dvd-automotivo-pioneer-avh-3880-com-usb-frontal-e-tela-de-7/3820066/pr?utm_term=22696088&utm_campaign=lomadee&utm_medium=afiliados&utm_source=lomadee&lmdsid='+new Date().getTime().toString().slice(8,12)+'29157007', 500);

Ora isto é um redirecionamento mas que só é delegado após a página já estar deste lado (lado cliente) e o javascript ser interpretado, daí com requests não conseguires ver este a ser realizado, isto serve para "garantir" que o pedido foi feito a partir de um browser.

Aqui tens um workaround para conseguires o url, neste serviço específico, para onde vai a seguir com requests (com urllib2 seria a mesma coisa):

import requests, re

req = requests.get('https://redir.lomadee.com/v2/987163d4')
redi_url = re.findall('(?<=location.href=["\'])https?://.+?(?=["\'])', req.text)

if redi_url:
    print(redi_url[0]) # https://www.walmart.com.br/dvd-automotivo-pioneer-avh-3880-com-usb-frontal-e-tela-de-7/3820066/pr?utm_term=22696088&utm_campaign=lomadee&utm_medium=afiliados&utm_source=lomadee&lmdsid=

Aqui acredito que algum(s) dos colegas que tenha mais jeito para expressões regulares me consiga ajudar, neste contexto não parece ser a melhor maneira de usar regex (corpo total da resposta aqui, o setTimeout que redireciona está mesmo fim), e que estejam à vontade para editar a resposta.

8
  • 2
    Basicamente é isso mesmo (mas só vai funcionar para este serviço específico). E em outras situações, a informação do link estará em contextos diferentes. Para ter compatibilidade com vários redirecionadores, só com algum engine que execute o JS de fato, ou implementando um crawler para cada fornecedor (um para o lomadee, outro para o redirecionador X, etc) e ainda tem que ficar atualizando sempre que for detectado um caso onde o link não seja encontrado (que é sinal que determinado redirecionador mudou a estrutura da página).
    – Largato
    Commented 23/04/2017 às 21:42
  • @Bacco exato, daria uma solução com selenium + phantomJS mas o AP sublinhou que não queria optar por essa solução. Apesar de assim ser volátil e só ter a certeza que funciona para este url de origem
    – Miguel
    Commented 23/04/2017 às 21:44
  • 1
    Espero que o autor da pergunta esteja fazendo isto justamente para eliminar intermediadores de links curtos. Fica a sugestão para ele de além de remover o intermediador, remover os dados de rastreamento do link final, senão simplesmente ele estará "eternizando" o ID de parceiro de quem intermediou. (eu faço isso nos meus sistemas, sempre que possivel removo tudo que é de analytics, como ?utm= e mais uma série, de todos os links que eu processo.
    – Largato
    Commented 23/04/2017 às 21:46
  • @Bacco sim, a partir daqui seria só eliminar do redi_url o que está depois do "?", um split bastaria
    – Miguel
    Commented 23/04/2017 às 21:49
  • @Bacco Isso mesmo, eu faço o filtro dos utm_ que aparecem nesses links, entranto é difícil de prever pois ele variam de site para site. Miguel, infelizmente não é tão simples quanto dar um split no question mark, pois isso pode levar embora alguns parâmetros que ficam após ele, como por exemplo parâmetros de busca no site. Se alguém tiver alguma dica? Para eliminar somente os parâmetros que setam cookies de parceiros, gostaria de saber mais sobre :)
    – leo04
    Commented 24/04/2017 às 22:22

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .